잘 나가는 프로덕트는 왜 리더의 한 마디에 산으로 갈까?

치열한 고민 끝에 도출된 A/B 테스트 결과, 정교하게 세팅된 GA4와 GTM 추적 데이터, 그리고 우상향을 그리는 전환율 지표까지. 모든 것이 완벽해 보였던 회의실은 가장 높은 자리에 앉은 분의 한 마디에 순식간에 얼어붙습니다. "수고했는데... 내 생각엔 그냥 원래 우리가 하던 톤앤매너가 맞는 것 같은데?"

수백 시간의 분석과 명확한 데이터가 단 3초 만에 무용지물이 되는 순간입니다. 분석은 그저 형식적인 보고를 위한 절차로 전락하고, 실제 결정은 가장 직급이 높은 사람의 '직관'이 내립니다. 잘 나가던 프로덕트가 갑자기 산으로 향하는 배로 전락하는 이 기막힌 현상, 우리는 이를 HiPPO 효과(HiPPO Effect)라고 부릅니다.

우리가 가진 데이터를 신뢰하지 않는다면, 우리에게 남는 것은 의견뿐입니다. 그리고 의견이 부딪힐 때, 결국 이기는 것은 가장 높은 직급의 의견입니다.

구글의 검색 품질팀을 이끌었던 데이터 과학자 아비나쉬 카우식(Avinash Kaushik)이 남긴 말입니다. 그는 조직의 의사결정 방식을 두 가지로 명쾌하게 구분했습니다. 데이터로 결정하거나, 아니면 HiPPO로 결정하거나. 여기서 HiPPO는 동물 하마가 아니라 Highest Paid Person's Opinion, 즉 '가장 높은 연봉을 받는 사람의 의견'을 뜻합니다. 문제는 이 현상이 단순히 '답답한 꼰대 리더'의 술자리 일화로 끝나지 않는다는 점입니다. HiPPO 효과는 조직에 측정 가능한 거대한 비용을 청구합니다. 잘못된 제품 방향, 검증되지 않은 가설에 증발해 버린 마케팅 예산, 그리고 시장과의 점진적인 괴리입니다.

직급이 데이터를 이긴 역사적 사례부터, 이 치명적인 함정을 구조적으로 차단하는 데이터 기반 그로스 조직의 비밀까지 차근차근 살펴보겠습니다.

1. 코카콜라의 '뉴 코크', 19만 건의 데이터를 이긴 확신

HiPPO 효과를 이야기할 때 빠지지 않는 사례가 1985년 코카콜라의 뉴 코크(New Coke) 사건입니다. 이 사례가 중요한 이유는, 데이터가 부족해서 실패한 것이 아니라 충분한 데이터에도 불구하고 리더의 해석이 데이터를 압도했기 때문입니다.

당시 코카콜라는 펩시의 추격에 위기감을 느끼고 있었습니다. 펩시는 '펩시 챌린지'라는 블라인드 테스트 캠페인을 통해 '소비자는 눈을 가리면 펩시를 더 선호한다'는 메시지를 확산시키고 있었습니다. 코카콜라 경영진은 이 문제를 맛의 문제로 규정했고, 더 달콤한 새로운 제조법을 개발했습니다.

코카콜라는 출시 전 약 19만 명을 대상으로 블라인드 맛 테스트를 진행했습니다. 결과는 고무적이었습니다. 새로운 제조법은 기존 코카콜라와 펩시를 모두 앞섰습니다. 데이터만 보면 출시는 합리적인 결정이었습니다. 그러나 이 데이터에는 결정적인 맹점이 있었습니다.

당시 사내 일부 조사에서는 응답자들이 기존 코카콜라가 사라지는 시나리오에 강하게 반발한다는 신호가 이미 감지되고 있었습니다. 그러나 경영진은 '맛이 더 좋으면 결국 받아들여질 것'이라는 확신 아래 이 신호를 부차적인 것으로 처리했습니다. 리더가 보고 싶은 데이터(맛 우위)만 채택하고, 보고 싶지 않은 데이터(정서적 반발)는 노이즈로 분류한 것입니다.

결과는 마케팅 역사상 가장 유명한 실패 중 하나로 남았습니다. 뉴 코크 출시 후 소비자들의 항의 전화가 하루 수천 건씩 쏟아졌고, 코카콜라는 출시 79일 만에 기존 제품을 코카콜라 클래식이라는 이름으로 되돌려야 했습니다.

이 사례의 핵심은 데이터 자체가 아니라 데이터를 둘러싼 질문 설계에 있습니다. HiPPO 효과가 강한 조직에서는 질문조차 리더의 가설을 입증하는 방향으로 설계됩니다. '무엇을 측정할 것인가'라는 가장 앞단의 의사결정에서 이미 편향이 개입하는 것입니다.

2. HiPPO 효과는 왜 반복되는가: 두 가지 구조적 편향

출처: What is Cognitive Bias and How to Get Rid of it? | Task

코카콜라의 사례가 한 기업의 우연한 실수였다면, HiPPO 효과를 논할 필요는 없었을 것입니다. 그러나 이 현상은 산업과 규모를 가리지 않고 반복됩니다. 그 이유는 HiPPO 효과가 개인의 성격이 아니라 인간의 인지 구조와 조직의 권력 구조가 결합한 산물이기 때문입니다.

확증 편향: 보고 싶은 것만 보는 뇌

첫 번째는 확증 편향(Confirmation Bias)입니다. 사람은 자신의 기존 신념을 뒷받침하는 정보를 선택적으로 받아들이고, 반대되는 정보는 평가절하하는 경향이 있습니다. 직급이 높은 리더일수록 이미 강한 신념과 성공 경험을 가지고 있기 때문에, 확증 편향이 작동할 여지가 더 큽니다.

뉴 코크 사례에서 '맛 우위' 데이터는 채택되고 '정서적 반발' 데이터는 무시된 것이 전형적인 확증 편향의 작동 방식입니다. 리더는 데이터를 무시한 것이 아니라, 자신의 가설에 부합하는 데이터만 선택적으로 신뢰한 것입니다.

권위 편향: 직급이 곧 정답이 되는 착시

두 번째는 권위 편향(Authority Bias)입니다. 조직 구성원은 직급이 높은 사람의 판단을 자동으로 더 신뢰하는 경향이 있습니다. 문제는 이 편향이 의견을 제시하는 리더 본인이 아니라, 그 의견을 받아들이는 팀원들에게서 발생한다는 점입니다.

팀원들은 데이터가 리더의 의견과 충돌할 때, 데이터를 다시 검증하기보다 자신의 분석을 의심합니다. "대표님이 저렇게 말씀하시는 데는 내가 모르는 이유가 있겠지"라는 심리가 작동하는 순간, 조직의 검증 기능은 멈춥니다. 이렇게 두 편향이 결합되면, 리더는 자기 가설만 신뢰하고 팀은 리더의 가설에 데이터를 끼워 맞추는 악순환이 완성됩니다.

여기서 주목할 점은, HiPPO 효과가 강한 조직일수록 실패를 데이터로 복기하지 않는다는 사실입니다. 결정이 실패하면 또 다른 직관에서 해결책을 찾습니다. 직관으로 시작해 직관으로 수습하는 구조에서는 학습이 누적되지 않습니다.

3. 부킹닷컴: HiPPO를 구조적으로 무력화한 실험 문화

그렇다면 HiPPO 효과를 막은 조직은 무엇이 달랐을까요? 가장 선명한 대조를 보여주는 사례가 글로벌 여행 플랫폼 부킹닷컴(Booking.com)입니다. 부킹닷컴은 의견의 권위를 데이터의 권위로 대체한 대표적인 기업입니다.

부킹닷컴의 운영 방식을 상징하는 원칙이 있습니다. 회사의 실험 문화를 정립한 인물로 알려진 전 디렉터 루카스 베르밀(Lukas Vermeer)은 이 회사의 철학을 다음과 같이 요약한 바 있습니다.

직급이 가장 높은 사람의 의견이 아니라, 고객의 행동이 결정을 내립니다. 우리는 누가 옳은지 토론하는 대신, 무엇이 옳은지 실험합니다.

부킹닷컴은 직원 누구나 라이브 사이트에서 A/B 테스트를 실행할 수 있는 권한을 가진 것으로 잘 알려져 있습니다. 한 시점 기준으로 이 회사는 동시에 1,000건 이상의 실험을 상시 운영했습니다. 신입 디자이너의 가설이든 임원의 지시든, 동일한 검증 절차를 통과해야만 실제 제품에 반영될 수 있었습니다.

이 구조의 핵심은 리더의 의견을 '명령'이 아니라 '가설'로 강등시켰다는 점입니다. 임원이 "이 버튼을 더 크게 만들면 전환율이 오를 것"이라고 말하면, 그 발언은 곧바로 결정이 되는 것이 아니라 실험 대상이 됩니다. 데이터가 가설을 지지하면 반영되고, 그렇지 않으면 폐기됩니다. 직급은 가설을 제안할 권리는 주지만, 검증을 면제받을 권리는 주지 않습니다.

이때 HiPPO를 무력화하는 방식이 '리더를 배제하는 것'이 아니라 '리더를 동일한 검증 규칙 안으로 끌어들이는 것'이었다는 점이 중요합니다. 리더의 직관은 여전히 가치 있는 가설의 원천입니다. 풍부한 경험에서 나온 직관은 좋은 실험의 출발점이 되기 때문입니다. 다만 그 직관이 검증 없이 곧장 제품이 되는 경로만 차단한 것입니다.

부킹닷컴의 사례는 데이터 기반 문화가 추상적인 구호가 아니라 권한과 프로세스의 설계 문제임을 보여줍니다. "데이터를 중시하자"는 선언으로는 권위 편향이 사라지지 않습니다. 누구의 의견이든 동일한 검증 관문을 통과하도록 만드는 시스템이 있을 때, 비로소 HiPPO 효과가 작동할 공간이 사라집니다.

4. 국내 마케팅 현장의 HiPPO: '대표님 픽' 소재의 함정

출처: What is a Fractional Sales Leader?

HiPPO 효과는 실리콘밸리만의 이야기가 아닙니다. 국내 마케팅 현장에서 가장 빈번하게 관찰되는 형태는 광고 소재와 랜딩페이지 결정 과정에서 나타납니다.

전형적인 상황은 이렇습니다. 마케팅팀이 데이터를 근거로 여러 광고 소재 후보를 준비합니다. 그러나 최종 컨펌 단계에서 대표나 임원이 "이 카피는 너무 가벼워 보인다", "우리 브랜드 톤은 이게 아니다"라는 개인적 취향으로 특정 소재를 낙점합니다. 이른바 대표님 픽입니다. 그리고 그 소재가 전체 예산의 대부분을 받아 집행됩니다.

문제는 광고 소재의 성과가 철저히 데이터의 영역이라는 점입니다. 클릭률(CTR), 전환율(CVR), 획득 비용(CAC)은 소비자의 실제 반응으로 결정되는 것이지, 의사결정권자의 심미안으로 결정되지 않습니다. 리더의 취향과 시장의 반응이 일치한다는 보장은 어디에도 없습니다.

이 문제를 구조적으로 해결하는 방식이 바로 소재 단위 A/B 테스트입니다. 그로스 마케팅 관점에서 광고 소재 결정 과정은 다음과 같이 재설계됩니다.

이 방식에서 대표의 취향에 맞는 소재는 '배제되는 것'이 아니라 '후보 중 하나로 참여하는 것'입니다. 만약 그 소재가 실제로 가장 높은 전환율을 기록한다면, 데이터가 리더의 직관이 옳았음을 증명해 줍니다. 반대로 데이터가 다른 소재의 손을 들어준다면, 조직은 값비싼 예산 낭비를 사전에 차단할 수 있습니다.

핵심은 '누가 결정하는가'를 '무엇으로 결정하는가'로 전환하는 것입니다. 이는 부킹닷컴이 전사적으로 구축한 실험 문화를, 광고 운영이라는 구체적인 영역에서 작은 규모로 구현하는 것과 같습니다. 그로스 마케팅에서 A/B 테스트가 단순한 최적화 기법을 넘어 '의사결정의 권위를 데이터로 이전하는 장치'로 기능하는 이유가 여기에 있습니다.

5. HiPPO 효과를 차단하는 세 가지 실전 원칙

출처: Data-Driven Decision-Making: Unlocking Sustainable Success - similarweb

지금까지의 사례들은 하나의 공통점을 가집니다. 실패한 조직은 리더의 의견을 검증 없이 제품으로 직행시켰고, 성공한 조직은 모든 의견을 검증 관문 안으로 끌어들였습니다. 이를 실무에서 적용할 수 있는 세 가지 원칙으로 정리하면 다음과 같습니다.

첫째, 측정 지표를 의사결정보다 먼저 정의합니다. 코카콜라의 실패는 결정 단계가 아니라 질문 설계 단계에서 시작되었습니다. 어떤 지표로 성공과 실패를 판단할지를 실험 전에 합의해두면, 결과가 나온 뒤에 리더가 자신에게 유리한 지표만 선택하는 확증 편향을 차단할 수 있습니다. 북극성 지표(North Star Metric)와 핵심 보조 지표를 사전에 못 박아두는 것이 출발점입니다.

둘째, 리더의 의견을 '명령'이 아닌 '가설'로 다룹니다. 부킹닷컴이 보여주듯, HiPPO 효과를 막는 가장 효과적인 방법은 리더를 배제하는 것이 아니라 동일한 검증 규칙 안으로 초대하는 것입니다. "이렇게 하자"는 지시를 "이렇게 하면 이 지표가 개선될 것이다"라는 검증 가능한 명제로 바꾸는 순간, 직관은 실험의 좋은 출발점이 됩니다.

셋째, 작은 예산으로 빠르게 검증합니다. 국내 광고 운영 사례에서 보듯, 전체 예산을 하나의 직관에 베팅하는 대신 소액으로 여러 가설을 동시에 검증하면 실패 비용을 최소화할 수 있습니다. 데이터가 승자를 가려낸 뒤 예산을 집중하는 방식은, 리더의 직관과 시장의 반응이 어긋났을 때 발생하는 손실을 구조적으로 줄여줍니다.

이 세 원칙을 관통하는 것은 결국 권위를 데이터로 분산시키는 설계입니다. 데이터 기반 문화는 리더의 권한을 빼앗는 것이 아니라, 그 권한이 시장의 검증을 거치도록 만드는 안전장치입니다.

6. 데이터 경시를 막는 그로스 분석 체계

출처: Growth Hacker Skills: Technical, Analytical and Marketing Skills

HiPPO 효과가 발생하는 가장 근본적인 토양은 데이터 경시입니다. A/B 테스트, 고객 피드백, 시장 조사 같은 과학적 데이터와 분석이 의사결정 테이블에서 배제될 때, 그 빈자리를 직급과 직관이 채웁니다. 따라서 HiPPO 효과를 막는 일은 곧 데이터가 배제되지 않도록 분석 체계를 상시화하는 일과 같습니다. 앞선 원칙들이 '태도'에 관한 것이라면, 이 섹션은 그것을 지탱하는 '인프라'에 관한 것입니다.

데이터 경시는 대개 데이터를 신뢰하지 않아서가 아니라, 데이터가 의사결정 속도를 따라오지 못해서 발생합니다. 회의 시점에 신뢰할 만한 수치가 준비되어 있지 않으면, 리더는 기다리는 대신 직관으로 결정을 내립니다. 그로스 마케팅 관점에서 이 문제는 다음 네 가지 분석 인프라로 대응합니다.

첫째, 이벤트 택소노미(Event Taxonomy)로 데이터의 신뢰 기반을 만듭니다. 데이터가 의사결정에서 배제되는 첫 번째 이유는 '데이터를 못 믿어서'입니다. 같은 '구매 전환'을 부서마다 다르게 정의하고 있으면, 회의 테이블에 오른 숫자 자체가 논쟁거리가 되고 결국 직관이 그 공백을 메웁니다. 사용자 행동을 어떤 이벤트로, 어떤 속성으로 수집할지를 사전에 표준화해두면, '무엇을 측정했는가'를 둘러싼 소모적 논쟁이 사라지고 데이터가 공통의 언어가 됩니다.

둘째, 핵심 지표를 상시 대시보드로 가시화합니다. 리더가 직관에 의존하는 또 다른 이유는 데이터에 접근하는 비용이 높기 때문입니다. 광고 성과(CTR·CVR·CAC·ROAS), 퍼널 단계별 전환율, 코호트별 리텐션이 실시간 대시보드에 항상 떠 있으면, 의사결정의 출발점이 '내 생각'이 아니라 '지금 화면의 숫자'가 됩니다. 데이터를 찾는 데 드는 마찰이 0에 가까워질수록, 데이터가 회의에서 이길 확률이 높아집니다.

셋째, AARRR 퍼널 기준으로 문제의 위치를 특정합니다. "전환이 안 나온다"는 리더의 직관적 진단은 너무 광범위해서 검증이 불가능합니다. 반면 획득-활성화-리텐션-수익화-추천의 퍼널 단계로 데이터를 분해하면, 문제가 정확히 어느 단계에서 발생하는지가 수치로 드러납니다. 문제의 위치가 특정되는 순간, 막연한 의견 싸움은 '이 단계의 이 지표를 개선하자'는 검증 가능한 가설로 전환됩니다.

넷째, 정성 데이터를 정량 데이터의 옆에 함께 둡니다. 데이터 경시는 종종 '숫자만으로는 고객을 모른다'는 리더의 반론에서 비롯됩니다. 이 반론은 타당합니다. 그래서 A/B 테스트의 정량 결과(무엇이 일어났는가)와 고객 인터뷰·세션 리플레이·VOC 같은 정성 데이터(왜 일어났는가)를 함께 제시해야 합니다. 정량과 정성이 같은 결론을 가리킬 때, 리더가 직관으로 데이터를 반박할 여지는 사라집니다.

이 네 가지 인프라가 갖춰지면, 데이터는 더 이상 회의가 끝난 뒤 보고서에 첨부되는 사후 자료가 아니라, 의사결정의 출발점 그 자체가 됩니다. HiPPO 효과는 데이터가 늦거나, 흩어져 있거나, 신뢰받지 못할 때 그 틈을 파고듭니다. 분석 체계를 상시화한다는 것은 곧 그 틈을 메워, 직관이 데이터를 건너뛸 수 있는 경로 자체를 없애는 일입니다.

결론: 직급이 아니라 데이터가 말하게 하라

출처: Why do we favor our existing beliefs? | thedecisionlab

코카콜라는 19만 건의 테스트 데이터를 가지고도 실패했습니다. 데이터가 없어서가 아니라, 리더의 확신이 데이터의 해석을 지배했기 때문입니다. 반면 부킹닷컴은 신입의 가설과 임원의 지시를 동일한 실험대 위에 올려놓음으로써, 누구의 직급도 검증을 면제받지 못하는 구조를 만들었습니다. 그리고 국내 그로스 현장의 '대표님 픽'은, 소재 단위 A/B 테스트라는 작은 장치만으로도 데이터의 영역으로 되돌릴 수 있습니다.

세 사례가 가리키는 결론은 하나입니다. HiPPO 효과의 반대말은 '리더의 직관을 무시하는 것'이 아니라, '리더의 직관을 포함한 모든 의견을 검증 가능한 가설로 다루는 것'입니다. 직관은 여전히 강력한 가설의 원천입니다. 다만 검증되지 않은 직관이 곧장 제품과 예산이 되는 경로를 차단할 때, 조직은 비로소 시장과 같은 속도로 학습하기 시작합니다.

빠르게 변화하는 시장에서 가장 위험한 의사결정은 틀린 결정이 아닙니다. 검증되지 않은 채 확신에 찬 결정입니다. 틀린 결정은 데이터로 빠르게 교정할 수 있지만, 검증 절차 자체가 없는 조직은 자신이 무엇을 틀렸는지조차 알지 못한 채 같은 실수를 반복합니다. 그리고 그 검증 절차는 선언이 아니라 인프라로 완성됩니다. 표준화된 이벤트 택소노미, 상시 대시보드, 퍼널 단위 분해, 정량·정성 데이터의 결합이 갖춰질 때, 데이터는 회의가 끝난 뒤 첨부되는 자료가 아니라 회의를 시작하게 만드는 출발점이 됩니다. 데이터 경시가 사라진 자리에는 HiPPO가 비집고 들어올 틈이 없습니다.

이제 질문을 던질 차례입니다.

당신의 조직에서 마지막으로 내려진 중요한 제품 결정은, 데이터가 내린 것입니까, 아니면 회의실에서 가장 높은 직급의 의견이 내린 것입니까? 그리고 그 결정은 시장의 검증을 거쳤습니까, 아니면 검증 없이 확신만으로 집행되었습니까?

위그로스는 데이터 기반의 그로스 마케팅 전략을 통해 기업의 성장을 이끌고 있습니다. 단순한 광고 채널 최적화를 넘어, 명확한 지표 설정 → 가설 수립 → A/B 테스트 → 인사이트 도출 → 다음 실험이라는 순환 구조를 체계화하여, 직급이 아니라 데이터가 의사결정의 중심에 서도록 만듭니다. 이는 리더의 직관을 배제하는 것이 아니라, 그 직관이 시장의 검증을 거쳐 진짜 경쟁력으로 전환되도록 돕는 과정입니다. 가장 높은 직급의 의견이 아니라, 가장 정확한 데이터가 말하는 조직. 위그로스와 함께 그 구조를 설계해 보세요.

위그로스 블로그 컨텐츠

그로스 마케팅 정보공유 오픈카톡방 입장하기