콘셉트 A/B 테스트 성과지표는 선호율 하나면 될까?

콘셉트 A가 B보다 선호도가 높다는 사실만으로 제품화 우선순위를 확정하기는 어렵습니다. 무엇을 이해했고, 어떤 문제를 해결한다고 느꼈고, 실제로 무엇을 선택하는지가 다를 수 있습니다.

이런 상황이라면 어떻게 할까

가상 예시: 건강 간식 브랜드의 A안은 멋진 패키지로 선호를 얻지만 B안은 명확한 성분 설명으로 이해도가 높습니다. 장바구니 선택과 실제 결제는 또 다를 수 있습니다. 패키지의 심미성, 메시지 이해, 구매 의도 중 무엇이 출시 위험인지 결정하지 않으면 팀마다 다른 “승자”를 주장하게 됩니다.

조사의 목표를 더 좁히자

평가 항목을 ①이해 ②문제 적합성 ③차별점 ④선호 ⑤행동으로 구분하고 조건 통제를 적용합니다. 응답자가 제품 콘셉트 내용을 동일하게 받았는지, 가격·이미지·브랜드가 비교에 영향을 주는지 기록합니다. 단순한 선호도 우세보다 사업상 가장 비용이 큰 오류를 줄이는 방향이 중요합니다.

실행 설계: 처음부터 검토까지

1. 1단계. 이번 테스트로 바꾸려는 제품 결정을 하나 고르고 1차 지표를 정합니다.
2. 2단계. 자극물의 가격·기능·시각·글자 길이 차이를 통제하거나 실험 변수로 명시합니다.
3. 3단계. 설문 선호와 서술 이유, 실제 선택 과업의 결과를 별도로 수집합니다.
4. 4단계. 모호한 우열은 다음 실험으로 넘기고 확실한 반론·실패 이유를 우선 해결합니다.

실제로 던져볼 질문

질문은 아래 문장을 출발점으로 삼되 고객의 언어에 맞춰 고쳐야 합니다. 실제 조사를 시작하기 전에 소수 참여자를 대상으로 이해하기 어려운 표현부터 확인하세요.

• 이 제품은 무엇을 해결하는 것으로 이해했나요?
• 기존 대안과 달라 보인 점은 무엇인가요?
• 이 콘셉트를 선택하지 않을 이유가 있나요?
• 가격 조건이 달라지면 무엇을 다시 검토하겠나요?
• 다음 행동으로 무엇을 실제로 확인할 의사가 있나요?

발견보다 해석이 어려운 이유

• 사진과 설명이 다른 A·B의 선호 차이를 기능 가치의 차이로 보는 것.
• 낮은 이해도의 콘셉트도 우연한 호감도만으로 승인하는 것.
• 통계적으로 불안정한 작은 차이를 출시 결정의 확정 증거로 삼는 것.

현실 검증의 마지막 관문

선호·이해·의향은 모두 조사 상황에서 얻은 응답입니다. 실제 구매·재구매·추천 행동으로 이어질지는 추가 실험과 대표 고객 자료가 필요하며, 결과를 특정 고객군 밖으로 일반화할 때 모집 편향을 검토해야 합니다.

관찰한 사실, 그로부터의 해석, 아직 확인하지 못한 가정을 따로 기록해야 후속 팀이 같은 판단을 재검토할 수 있습니다. 특히 모집 기준과 문항 조건이 달라진 경우 기존 결과를 그대로 재사용하지 않는 편이 안전합니다.

짧은 문답

지표를 많이 넣으면 더 좋은가요?

아닙니다. 결정에 직접 연결되는 소수의 지표를 사전 정의하고 나머지는 보조 지표로 둬야 해석 혼란이 줄어듭니다.

A/B에서 선호율 차이가 작으면요?

표본과 실험 조건을 점검하고 큰 결론을 보류하거나 다음 행동 검증을 진행하는 편이 합리적입니다.