컬처
화해 Data & Experiment Festival(D.E.F)
2023. 04. 25
안녕하세요. 대한민국 1등 뷰티 앱 화해입니다. 화해 Data & Experiment Festival
매 분기 진행하는 OKR Day가 열린 지난 12일, 화해팀에 특별한 행사가 함께 열렸는데요. 바로 화해 Data & Experiment Festival입니다!🎉
화해 Data & Experiment Festival(이하 D.E.F)은 모든 버디즈(화해팀 구성원)를 위한 축제(Festival)이자, 우리 성과의 이유를 정의(Define)하는 시간이에요. 지난 분기 우리 모두가 함께 만든 성과와, 그 과정과 이유를 데이터와 실험으로부터 찾아보면서 우리가 이룬 성과를 축하하고, 정확한 방향과 빠른 속도로 목표를 향해 함께 달려갈 수 있도록 학습과 성장을 나누기 위해 마련된 행사인데요. 데이터와 실험을 기반으로 의사결정이 이루어지는 화해팀에서 이 데이터와 실험이 의미 있는 비즈니스 성과를 만드는 데 얼마나, 어떻게 기여하고 있는지 생생한 사례를 구성원과 함께 공유했어요. 처음 열린 행사였지만 수많은 버디즈가 온라인으로 발표 중계를 시청하거나 사무실에서 직접 발표를 듣기 위해 세션에 참석해 뜨거운 관심을 체감할 수 있답니다😄
총 4개 주제로 진행된 세션에서는 각 실험을 담당한 데이터팀 분석파트 Data Scientist분들께서 실험의 배경과 목적, 실험 내용, 결과, 학습한 점 등을 소개해주셨어요.
첫 번째 세션인 ‘1억의 의사결정을 바꿔낸 과정’에서는 분석파트 김초원님이 약 1억 원의 예산이 활용되는 마케팅 액션 중 하나인 리타게팅 마케팅의 순수한 효과를 검증하고, 이를 통해 전략적으로 MAU 상승에 기여한 과정을, 두 번째 세션인 ‘MVP 기반으로 성공 만들기’에서는 황인건님이 ‘간편 발색 보기’ 기능 도입 과정에서 MVP(Minimum Viable Product)로 A/B 테스트를 진행하며 고객 반응이 좋은 기능을 확인하고 론칭한 경험을 소개해주셨어요.
세 번째 세션에서는 ‘의사결정에서 성과측정까지 – 샘플신청 배송비 페이백 노출실험’을 주제로 박근배님의 발표가 이어졌어요. ‘샘플 체험’ 서비스 론칭 과정에서 샘플 신청 수, 구매 전환율을 상승시키기 위해 론칭 이전에 진행한 페이백 실험의 인사이트와 의사결정 과정을 소개하고 학습한 점을 들을 수 있었답니다. 마지막 순서인 ‘유저가 말하지 않는 생각을 읽는 법’에서는 이의담님이 세션을 진행하며 화해 홈화면의 기능과 배치를 유저의 선호에 맞게 효과적으로 최적화해서 운영하기 위한 실험과 그 과정에서 학습한 점을 공유해 주셨어요.
최근 화해는 그 어느 때보다도 빠르게 변화하며 서비스, 비즈니스 측면 모두에서 성장하고 있어요. 이렇게 빠른 변화와 성장 뒤에는 데이터팀을 비롯한 많은 버디즈의 노력으로 만든 ‘데이터 기반 의사결정 문화’가 있었음을 다시 한번 깨닫는 시간이었어요.
특히나 세션마다 연사분들이 공통적으로 강조하신 말씀이 기억에 많이 남는데요. 데이터 기반 의사결정 문화가 데이터팀이 만들고 싶은 궁극적인 모습이 아니라는 것이에요. 이러한 문화를 바탕으로 데이터팀의 고객인 화해팀이 의사결정의 속도와 정확도를 높이고 올바른 방향으로 나아감으로써 화해 서비스와 비즈니스의 성장, 화해팀 구성원의 성장을 함께 만드는 것이 데이터팀의 목표라는 점을 알 수 있었어요.
지금과 같은 데이터 기반 의사결정 문화가 잘 유지되고 더 좋은 실험과 성과를 만들기 위해서는 구성원의 피드백이 많이 필요하다는 점도 함께 강조해 말씀해 주셨어요. 세션을 통해 데이터팀의 진심과 열정이 느껴져 절로 가슴이 뛰는 시간이었습니다!🔥
D.E.F를 성공적으로 마무리한 후, 연사분들을 모시고 간단한 인터뷰 자리를 마련했어요. 데이터팀 분석파트 리더로서 행사를 진행한 샛별님과 DLI로서 각각의 실험 진행부터 의사결정까지 이르는 과정을 리드하고 세션으로 성장 나눔까지 해주신 Data Scientist분들의 소감을 들어보았어요.
[데이터팀 분석파트 리더 장샛별님]
첫 번째 D.E.F가 성공적으로 마무리되었어요! 어떤 계기로 행사를 기획하시게 되었나요? 구성원들의 반응은 어땠는지도 궁금해요.
화해팀은 데이터와 실험이 의사결정의 곳곳에서 잘 활용되고 있다고 자신 있게 말할 수 있는 조직이에요. 그 안에서 저희가 올해 세운 목표 중 하나는 데이터 기반 의사결정 문화 2.0을 자리 잡게 하는 것인데요. ‘데이터 기반 의사결정 문화’란 특별한 상황에서만 데이터팀의 도움을 받아 데이터, 실험을 활용하는 게 아니라 화해팀의 일상적인 언어로 데이터와 실험이 쓰이는 문화를 의미해요.
언어는 소통을 위한 것이니까 소수의 인원이 아니라 모든 사람들이 같이 쓰고, 의미를 이해할 수 있어야 하잖아요. 데이터와 실험이라는 언어가 멀리 있는 것이 아니라 우리가 만들어낸 많은 성과들에 늘 쓰이고 있다는 걸 많은 구성원들에게 보여주면서 모두가 만든 성과를 같이 축하하는 시간을 갖고 싶었어요. 그래서 딱딱한 공유회, 컨퍼런스 대신 축제(Festival)라는 이름을 정했죠. 낯선 이름이라 참여가 저조할까 봐 걱정했는데 정말 뜨거운 반응을 보여주셨어요. 오프라인은 물론이고 온라인에서도 이모지로 응원하며 축제를 함께 즐겼죠.
[데이터팀 분석파트 김초원님]
‘1억의 의사결정’이라는 키워드가 가장 눈에 띄었는데, 이 실험을 통해 학습한 점을 말씀해 주세요. D.E.F를 성공적으로 마친 소감도 궁금해요.
액션에 따른 순수한 효과(인과 효과)는 여러 분야에서 관심 있어하시는 주제예요. 특히 리타게팅은 직접적으로 예산이 들어가는 부분이니 정확한 효과를 파악하고, 비용을 썼을 때 기대 효과를 예상할 수 있어야 합리적인 의사결정이 가능해요. 기존에는 비용에 대한 기대효과가 불분명해 의사결정이 일관되게 이루어지지 못했는데요. 실험을 통해 실제 MAU 증분을 파악할 수 있게 되어 의사결정이 쉽고 명확해졌어요. 정확한 효과 크기 파악이 의사결정의 속도와 질을 높인다는 것을 저 역시 다시 한번 학습할 수 있었던 실험이었어요.
발표를 들으신 분들에게 왜 분석과 실험이 필요한지 확실하게 알게 되었다는 피드백들을 들었어요. 내 업무에 적용해보고 싶다는 의견들도 많아서 실험 문화가 더 활발해질 거란 확신이 들었어요. 앞으로도 재밌고 임팩트 있는 실험 사례들을 많이 공유할 수 있으면 좋겠어요!
[데이터팀 분석파트 황인건님]
‘MVP에선 데이터가 필요 없다’는 편견을 깨는 발표였어요. 구성원들에게 어떤 메시지를 전달하고 싶으셨나요?
가본 적 없는 목적지를 향해 갈 때 중요한 것은 올바른 방향으로 가고 있는지를 계속 확인하는 것이고, 올바른 방향으로 가고 있는지는 데이터가 알려줄 수 있다는 메시지를 전달하고 싶었어요. 최소 기능 제품(Minimum Viable Product, 이하 MVP)을 진행할 때 가장 많이 드는 생각은 “지금 우리 맞게 가고 있는 건가?”라는 방향성에 대한 의문일 거예요. 빠르게 시도하는 것도 중요하지만 엉뚱한 방향으로 달린다면 시간과 에너지만 낭비하게 되고, MVP를 만든 이유가 무색해질 것이기에 속력만큼이나 방향도 중요하다고 생각해요. 데이터는 옳은 방향을 알려주는 나침반과 같은 역할을 해요. AB 테스트, 시뮬레이션, 퍼널분석, 모니터링 등 데이터를 기반으로 한 실행들이 처음에는 빠르게 MVP를 만드는 것을 방해하는 과정처럼 느껴질 수 있지만, 실제로는 이번에 공유드린 사례와 같이 문제점 파악, 의사결정의 속도와 정확도가 모두 향상되었어요.
물론 나침반을 들고 목적지를 향해 출발하더라도 헤맬 수 있어요. 하지만 데이터를 기반으로 움직인다면 헤매는 과정도 학습이 됩니다. 제가 좋아하는 말 중에 “모든 일의 근원은 삽질이지만 우리는 학습을 통해 다음 삽을 더 잘 뜰 수 있다”는 말이 있어요. 다음 삽을 더 잘 뜨기 위해 데이터와 함께 하는 버디즈(화해팀 구성원)가 되었으면 좋겠습니다!
[데이터팀 분석파트 박근배님]
‘비즈니스도 감이 아니라 데이터를 통해 의사결정을 해야 한다’고 말씀해 주신 게 인상적이었어요. 실험 과정에서 학습한 점이 있다면 말씀해 주세요.
여전히 많은 비즈니스 조직이 ‘감’으로 의사결정을 합니다. 발표에서는 ‘감’이라는 용어를 사용했지만, 실제로는 의사결정자의 개인적인 취향에 따라 결정이 이루어지는 경우가 많아요. 이러한 방식은 성공 시에는 문제가 없어 보이지만, 실패할 경우 의사결정 과정에서 충분히 구성원들을 설득하고 납득시키지 못한 이유로 신뢰를 상실하게 됩니다. 반면 화해팀에서는 결과적인 성공만큼이나 결과를 얻어가는 과정에서 버디즈가 납득할 수 있는 의사결정을 하기 위해 노력하고 있어요. 또한 버디즈들이 데이터를 얻는 과정이 충분한 가치 있다는 걸 알려드리고 있어요.
‘샘플신청 배송비 페이백 노출실험’에서 커머스사업팀을 비롯한 협업팀의 역할과 노력이 가장 중요했으며, 이를 통해 화해팀의 실험문화가 얼마나 성숙해졌는지 체험할 수 있었는데요. D.E.F 세션에서도 이 부분을 함께 이야기할 수 있어 기뻤습니다.
[데이터팀 분석파트 이의담님]
고객의 행동으로 니즈를 파악하는 방법을 자세히 알 수 있었어요. 세션을 통해 전달하고자 했던 메시지가 있으셨나요? 또 연사로 D.E.F에 참여하신 소감도 궁금해요.
올해 홈 개편 관련한 실험들을 꾸준히 진행했는데요. 홈 화면은 변화에 가장 민감한 영역이고, 특히 신규 유저의 데이터에서 바로 반응이 나타나기 때문에 가장 까다로우면서도 재미있는 실험 주제라고 생각해요. 이번 D.E.F 세션을 통해 제가 경험했던 내용을 버디즈와 공유하고 싶었고, 특히 홈 화면은 많은 조직에서 탐내고 있는 인기 지면인 만큼 “홈 화면을 변경할 때 이런 부분은 주의해야 한다”는 내용을 함께 말씀드리고 싶었어요. 그리고 반복된 실험을 진행하면서 느낀 한계점과 페인포인트들이 있었어서 앞으로 바뀔 실험의 방향에 대해서도 간단히 소개드렸어요.
D.E.F가 처음으로 외부 팀과 함께하는 세션이었는데요. 많이 긴장하기도 했지만 그래도 잘 호응해 주셔서 무사히 마칠 수 있었습니다. 좋은 피드백도 많이 주셔서 다음에도 기회가 된다면 꼭 다시 참석해서 배움을 나누고 싶어요!
D.E.F는 1회로 끝나지 않고 분기 행사로 진행할 예정이에요. 지금도 화해에서 다양한 실험이 진행되고 있는 만큼 다음 분기에는 어떤 학습과 성과를 공유하게 될지 많이 기대해 주세요🙂
화해 Data & Experiment Festival(D.E.F)
이 글이 마음에 드셨다면 데이터팀의 다른 콘텐츠도 확인해보세요!
