응답자 10명 인터뷰로 무엇까지 말할 수 있을까

열 명의 인터뷰로도 중요한 사용 문제를 발견할 수 있습니다. 그러나 열 명 중 여섯 명이 말했다고 시장의 60%가 같은 의견이라고 결론 내릴 수는 없습니다. 목적과 표본을 분리해야 합니다.

왜 지금 이 질문을 던지는가

가상 예시: 업무 협업 도구 팀이 10명의 사용자를 인터뷰했고 6명이 알림 과다를 언급했습니다. 이는 개선할 가설을 제시하지만 전체 유료 고객의 60%라는 뜻은 아닙니다. 인터뷰에 참여한 이들이 적극적인 관리자였는지, 무료 사용자였는지, 알림을 많이 쓰는 팀인지에 따라 이야기가 달라집니다.

결정을 먼저 정의해야 하는 이유

표본의 충분성은 통일된 숫자보다 발견하려는 것에 달려 있습니다. 형성적 사용성 테스트는 반복적으로 문제를 발견하고 수정하는 구조를 만들 수 있습니다. 반면 세그먼트 비교·발생률·가격 의향 추정은 별도의 표본 설계가 요구됩니다. NN/g의 소규모 사용성 테스트 논의를 정량 대표성의 만능 법칙으로 확대하지 않는 것이 중요합니다.

적용 순서: 현장에서 확인할 단계

1. 1단계. 이번 연구가 발견 중심인지 추정 중심인지 결정하고 결과 문구를 미리 구분합니다.
2. 2단계. 역할·숙련도·사용 빈도 등 행동에 영향을 주는 다양성 축으로 참여자를 모집합니다.
3. 3단계. 발견된 문제를 행동·발언·조사자 해석으로 분리하고 반례 사례를 의도적으로 찾습니다.
4. 4단계. 핵심 발견이 의사결정에 큰 영향을 주면 추가 표본·로그·설문·현장 실험으로 확인합니다.

조사 전에 바꿔 써볼 질문

질문은 아래 문장을 출발점으로 삼되 고객의 언어에 맞춰 고쳐야 합니다. 실제 조사를 시작하기 전에 소수 참여자를 대상으로 이해하기 어려운 표현부터 확인하세요.

• 지난주 이 기능을 쓰면서 실제로 멈춘 순간은 무엇이었나요?
• 익숙해지기 전과 지금의 사용 방식이 다른가요?
• 동료와 역할이 다른 사람은 어떤 일을 맡고 있나요?
• 여기서 가장 먼저 포기한 일은 무엇이었나요?
• 제가 해석한 내용과 다른 사례나 예외가 있나요?

흔히 놓치는 반례

• “10명 중 6명”을 모집단의 60%로 표기하는 것.
• 서로 다른 사용 집단을 소수로 섞어 놓고 아무 집단도 충분히 이해하지 못하는 것.
• 새로운 주제가 덜 나오기 시작했다는 이유만으로 모든 조사 목표가 달성됐다고 선언하는 것.

판단을 멈춰야 할 지점

정성 인터뷰의 발언 빈도는 질문 방식·진행자·모집 과정을 반영합니다. 시장 규모, 세그먼트 간 차이, 전환률처럼 정량적 결정을 하려면 목표 모집단을 정의한 표본과 측정 설계가 별도로 필요합니다. 열 명이라는 숫자 자체는 충분성의 보증이 아닙니다.

관찰한 사실, 그로부터의 해석, 아직 확인하지 못한 가정을 따로 기록해야 후속 팀이 같은 판단을 재검토할 수 있습니다. 특히 모집 기준과 문항 조건이 달라진 경우 기존 결과를 그대로 재사용하지 않는 편이 안전합니다.

실무자가 궁금해하는 것

5명 테스트가 권장된다는 말은 무엇인가요?

형성적 사용성 문제 발견을 반복적으로 수행하라는 맥락입니다. 통계적 대표성 확보 기준과는 다릅니다.

인터뷰를 더 많이 하면 자동으로 대표성이 생기나요?

아닙니다. 누구를 어떤 방식으로 모집했는지가 중요하며 동일 편향 표본을 늘려도 편향은 남습니다.