사용성 테스트 5명으로 충분할까? 표본의 함정

“사용성 테스트는 5명이면 충분하다”는 문장은 조건 없이 쓰기 어렵습니다. 문제를 찾아 빠르게 고치는 목적과 작업 성공률을 정밀하게 추정하는 목적은 다릅니다.

왜 지금 이 질문을 던지는가

가상 예시: 쇼핑앱의 주문 오류를 찾기 위해 실제 사용 과업을 다섯 명에게 수행하게 하면 메뉴 명칭의 혼란이나 결제 오류를 발견할 수 있습니다. 그러나 세 명이 성공했다는 이유로 전체 사용자의 주문 성공률을 60%라고 보고할 수는 없습니다. 특정 사용자가 신용카드를 보유하지 않은 것처럼 표본 구성도 성공 여부를 좌우합니다.

결정을 먼저 정의해야 하는 이유

형성적 테스트에서는 문제 발견과 수정 여부가 중심입니다. 정량적 벤치마크에서는 성공 정의·오류 허용·대표 사용자·정밀도·신뢰 구간을 사전에 설계합니다. NN/g의 소규모 테스트 권고를 모든 연구의 숫자 기준으로 옮기는 대신 목적에 따라 여러 차례 반복하거나 정량 연구로 전환합니다.

적용 순서: 현장에서 확인할 단계

1. 1단계. 발견하고 싶은 것이 문제 유형인지 수치적 차이인지 먼저 결정합니다.
2. 2단계. 대표 과업을 실제 상황과 유사하게 만들고 성공·실패 기준을 미리 적습니다.
3. 3단계. 소규모 관찰에서 반복된 어려움을 수정한 뒤 새로운 참여자에게 다시 확인합니다.
4. 4단계. 경영진이 발생률이나 매출 영향 수치를 요구하면 별도의 정량 계획을 세웁니다.

조사 전에 바꿔 써볼 질문

질문은 아래 문장을 출발점으로 삼되 고객의 언어에 맞춰 고쳐야 합니다. 실제 조사를 시작하기 전에 소수 참여자를 대상으로 이해하기 어려운 표현부터 확인하세요.

• 이 작업을 마쳤다고 판단하는 지점은 어디인가요?
• 어떤 버튼이나 문구를 보고 다음 행동을 정했나요?
• 중간에 멈춘 이유가 기능 장애였나요, 외부 조건이었나요?
• 도움 없이 다시 수행한다면 어디서 시작하겠나요?
• 평소 사용하는 기기·접근 환경이 지금과 같은가요?

흔히 놓치는 반례

• 형성 테스트의 몇 명 중 몇 명을 모아 시장 성공률로 보고하는 것.
• 반복 테스트에서 같은 문제가 안 나왔다는 이유로 모든 문제가 해결됐다고 단정하는 것.
• 서로 다른 고객군을 한두 명씩만 넣고 집단별 우열을 비교하는 것.

판단을 멈춰야 할 지점

사용성 테스트의 관찰 결과는 참여자의 과업·환경·숙련도에 의존합니다. 통계적 사용 성공률, 이탈 영향, 집단차를 추정하려면 목표 모집단과 필요한 정밀도를 정의한 추가 자료가 필요합니다.

관찰한 사실, 그로부터의 해석, 아직 확인하지 못한 가정을 따로 기록해야 후속 팀이 같은 판단을 재검토할 수 있습니다. 특히 모집 기준과 문항 조건이 달라진 경우 기존 결과를 그대로 재사용하지 않는 편이 안전합니다.

실무자가 궁금해하는 것

5명만 하면 무조건 부족한가요?

아닙니다. 빠른 문제 발견이라는 목적에는 시작점이 될 수 있습니다. 단 정량 정확도의 보장은 아닙니다.

무엇을 반복해야 하나요?

관찰→문제 수정→다른 참여자로 재시험하는 과정을 반복하고 발견 사항의 재현 여부를 기록합니다.