A/B테스트에 관해 달라진 관점

4월 3주차 업무일지

A/B테스트는 확실히 논쟁적인 주제다. A/B테스트는 한 화면에 대한 단편적인 결과를 제공할 뿐이고, 전체적인 사용자 경험에 대한 결정으로 이어지기 어렵다는 의견도 있는가 하면 A/B테스트를 기본으로 삼아야 개인의 감이 아닌 데이터 기반의 제품 의사결정을 할 수 있다는 의견도 있다. 트레바리에서 독서 모임을 할 때 A/B테스트는 단골 질문이었는데, 당시 여러 디자이너와 이야기해 봐도 입장은 크게 다르지 않았다. 얼마나 좋은 디자인인지 A/B테스트에서 위너가 선정되는 것만큼 쉽게 설득되는 것이 없다고 인정하면서도 A/B 테스트만이 좋은 디자인을 판별한다고 생각하는 것에 답답함을 느꼈다.

나 역시 비슷한 양가적 생각을 하고 있다가, 지난 디자이너의 역할에 대해 관점이 달라지면서 A/B테스트에 관한 관점도 달라졌다. A/B테스트의 결과가 중요한 게 아니라 과정이 중요하다는 것, A/B 테스트를 통해 뽑히는 좋은 디자인이 중요한 게 아니라 테스트함으로써 놓칠 수도 있었던 다른 결과를 얻을 수 있는 것이 중요하다는 것으로 바뀌었다.

A/B테스트 결과가 좋다고 해서 좋은 디자인이라고 쉽게 결론 내리긴 어렵다. 왜냐하면 어떤 것이 위너가 될 때는 너무 많은 변인이 작용하기 때문이다. 신용카드를 발급받는 화면을 예시로 들어보자. 화면이 보이는 맥락, 시즌 (연말엔 다들 합리적인 결정에 관심이 없다), 서비스가 노출되는 유저의 특성 등에 변수가 너무 많아서 이번에는 혜택을 강조한 안이 더 많은 발급을 만들었지만, 다음에는 낮은 연회비를 강조하는 시안이 더 많은 발급을 유도할 수 있다.

실험이란 본질적으로 모든 변인을 통제하면서 한 가지 변수를 조절해 결론에 도달하는 것인데 제품에서 그게 불가능한 경우가 훨씬 많다. 만약 마침 다른 경쟁사가 신용카드 발급이 너무 중요해져서 고객이 광고 푸시를 수두룩하게 받는 기간이었다면? 하필 연휴라서 공항 라운지 카드에만 관심이 몰렸다면? 우리 제품 내에서 다른 서비스의 업데이트가 반응이 너무 좋아서 낙수효과 혹은 카니발리제이션을 일으켰다면? 이런 통제 불가능한 변수가 무수히 많아서 실험이라고 하기 무색하다.

내가 집중하고 싶은 관점은 A/B테스트를 통해 여러 가지 가능성을 열 수 있다는 관점이다. 마치 자유투를 얻은 농구선수가 3점 슛 자리에 서서 시간을 잠깐 멈추고 5번 던져보고 그중 골인하는 것을 유효타로 치겠다는 것과 같다. 그런 관점에서라면 A/B 테스트를 안 할 이유가 없다. 이런 관점에서는 CTR이 30%가 나올 미래와 25%가 나올 미래를 둘 다 엿보고 30%인 미래로 나아가는 것이 A/B 테스트다.

이 관점에서 A/B테스트를 했을 때 장점이 하나 더 있다. 우리가 잘했는지 못했는지 어느 정도 판단 가능하다는 점이다. 만약 테스트 없이 한 가지 시안만 내보냈을 때 CTR이 20%가 나왔다면, 그게 좋은 결과인지 안 좋은 결과인지 판단하기 어렵다. 하지만 다른 3~4개의 시안을 동시에 진행했는데 가장 좋은 것이 20%였다면 그 정도면 상대적으로 높은 수치였다고 대략적인 가늠을 해볼 수도 있다.

이런 이유로 나는 중요한 화면인 경우 A/B 테스트를 거치려고 한다. 하지만 주의할 것은 쉬운 일반화에 빠지지 말아야 한다는 것이다. 앞서 말했듯 변수가 너무 많아서 일반적인 패턴을 도출하는 것이 섣부른 판단이 되기 쉽다. 자유투를 던질 때 이번에는 오른손에 살짝 힘을 더 준 것이 들어갔지만, 다음번엔 자세를 좀 낮춘 것이 들어갈지도 모른다. 내 컨디션, 코트 상황, 공의 텐션에 따라 다 다르니까. 그래서 일반적으로 모두 적용할 수 있는 위닝 패턴을 발견하기 위해서는 신중해야 한다. 정말 수십 번 실험을 거쳤을 때 항상 몸을 낮추는 게 들어간다면 그러니까, 제품에서는 항상 같은 가설이 위너로 선정된다면 그때야말로 레슨런을 얻을 때다.

모든 것이 실험 기반으로 만들어지는 제품에서 디자이너의 역할이 ‘그냥 모두가 각자 가설을 말할 때 디자이너가 각 가설을 그려낼 뿐, 좋은 디자인이란 판단은 A/B테스트가 내리는 것 같다’는 자조적인 생각이 든다면 관점을 바꿔보는 것이 어떨까 싶다. A/B 테스트는 다양한 가능성을 탐색하는 과정으로 생각하면 A/B테스트 자체가 더 나은 성과를 만들어내는 2개 평행우주, 3개 평행우주를 만드는 일이고 디자이너의 역량에 따라 얼마나 많은 다차원 세계를 경험할 수 있을지가 결정되는 것이다.