피플
제품과 비즈니스의 성장 전략을 고민하는, 화해 데이터팀
2024. 05. 21
안녕하세요. 대한민국 1등 뷰티 앱 화해입니다.
화해팀의 데이터 기반의 의사결정 문화를 만들고, 데이터를 통해 모든 구성원들이 성과를 낼 수 있도록 지원하는 화해 데이터팀을 만나보았어요.
화해 데이터팀 파트리드 2분이 들려주는, 화해 데이터팀이 하는 일과 성장 기회 등 설렘 가득한 이야기를 지금 확인해 보세요 🙌🏻
Q1. 안녕하세요! 간단한 자기소개 부탁드려요!
초원 안녕하세요. 데이터 사이언스 파트 리드를 맡고 있는 김초원입니다.
데이터와 실험으로 전사의 합리적인 의사결정과 문제해결을 돕고, 비즈니스 성과와 제품 변화를 이끌어내는 데이터 산출물들을 만들어가고 있어요.
덕헌 안녕하세요! 데이터팀 엔지니어링 파트에서 리드 역할을 맡고 있는 김덕헌입니다.
데이터를 기반으로 화해의 마케팅, 비즈니스, 제품을 개선하고, 데이터 플랫폼과 파이프라인을 구축/운영하며 화해팀이 더욱 우수한 성과와 결과물을 달성하도록 지원하고 있습니다.
Q2. 화해팀 합류 전, 쌓아오신 커리어와 화해를 선택한 이유가 궁금해요!
덕헌 운이 좋게도 저는 첫 커리어부터 데이터와 가깝게 지낼 수 있었어요.
글로벌 제조업에서 제품의 품질 데이터를 관리하는 역할이었는데, 자연스럽게 대규모 데이터 처리 경험을 쌓을 수 있었죠. 이후 관심있던 커머스, 비디오 커뮤니케이션 도메인 데이터를 다루며 거래 데이터를 활용한 데이터 모델링, 배치 파이프라인 및 고객경험 개선을 위한 셀러 평가 모델 개발/운영, 스트리밍 데이터 파이프라인 안정적 운영 등 제가 맡은 플랫폼을 데이터로 건강하게 유지시키는 노력들을 했어요.
그 밖에도, 폭발적으로 증가하는 데이터를 안정적으로 처리하는 하둡 에코 시스템을 구축하는 프로젝트에도 참여하며 데이터 역량을 확장시켜 왔습니다.
그리고 지금, 화해에서는 브랜드 중심적이고 파편화된 정보 구조로 인한 시장의 정보 비대칭 문제와 대형 브랜드사 중심의 시장 구조로 소비자의 선택권이 제한되는 핵심적인 문제를 데이터로 해결하며, 뷰티 도메인의 매력에 푹 빠져있습니다. 화해에서는 제 데이터 역량이 구성원은 물론 회사의 성장에 도움을 줄 수 있다는 확신, 매일 내가 성장한다는 기분이 들게 해요. 😊
초원 제 커리어의 첫 시작은 Product Manager였어요. 데이터를 기반으로 액션 아이템을 도출하는 과정이 흥미로웠고, 데이터를 통한 수많은 의사결정 과정을 경험했어요. 그러면서 데이터 기반으로 실제 실행을 하는 일도 재미있지만, 데이터로 문제를 해결하기 위한 여러 스킬들을 더욱 쌓고 싶다는 생각을 하게 되었습니다. 이후 데이터 직무로 전환하게 되었고, 여러 스타트업에서 데이터 분석 및 실험 설계, 모델링 등 다양한 경험을 쌓기 시작했어요.
여러 조직에서 같은 직무이지만 서로 다른 데이터 운영 경험을 하며 체감한 점은 데이터 기반 의사결정 문화가 잘 정착된 조직일수록 DS로서 더 큰 임팩트를 낼 수 있다는 것이었어요. 또한, 어떤 데이터 조직이 좋은 조직일까에 대한 생각도 정립할 수 있게 되었죠.
그리고 화해에 합류한 수많은 이유 중 하나는 바로, 이 조직에선 데이터를 통해 의사결정에 큰 영향력을 미칠 수 있을 것 같다는 생각 때문이었어요. 그 어느곳보다 데이터 기반 의사결정 문화가 잘 정착되어 있고, 여러 데이터 직무가 유기적으로 협업할 수 있는 구조였거든요.
Q3. 맡고 계시는 파트는 각각 어떤 일을 하나요?
초원 데이터 사이언스 파트는 DS(데이터 사이언티스트), BA(비즈니스 애널리스트), AE(분석 엔지니어), MLE(머신러닝 엔지니어)로 구성되어 있어요.
- DS(데이터 사이언티스트) : 데이터 기반의 제품/비즈니스 의사결정 견인. 예측 모델링, 인과추론, 실험 설계 및 분석.
- BA(비즈니스 애널리스트) : 비즈니스 현황 분석 및 인사이트 도출. 사업 조직 및 비즈니스 문제 해결
- AE(분석 엔지니어) : 구성원들이 더 쉽고 정확하게 데이터를 활용할 수 있는 환경과 도구를 제공. 분석 환경, DW, BI 구축.
- MLE(머신러닝 엔지니어) : 고객/비즈니스 문제 해결을 위한 ML/AI/알고리즘 및 환경 개발
직무가 다른 만큼, 각자의 전문성을 바탕으로 업무를 수행하지만, 모두 데이터를 기반으로 비즈니스와 제품의 성과를 창출하는 공통의 목표를 갖고 있죠.
데이터 분석과 실험을 기반으로 제품/비즈니스 의사결정을 돕고, 분석 결과로부터 액션 아이템을 도출하여 성장을 견인하는 역할을 수행하고 있어요. 또, 랭킹, 추천, 타겟 모델 등 다양한 형태로 제품/서비스 성장을 이룰 수 있는 도구가 되는 산출물들을 만들고 있습니다. 뿐만 아니라, 화해팀 모두가 더 쉽고 빠르게 데이터를 활용할 수 있도록 DW, BI, 지표봇 등의 데이터 도구를 제공하는 역할도 담당하고 있어요.
덕헌 데이터 엔지니어링 파트에는 데이터 엔지니어 한 가지 직무가 다양한 역할을 수행하고 있어요.
화해에서 데이터 엔지니어의 미션은 문제를 정의하고 해결하기 위한 도구들을 제공하는 것이에요. 이 도구에는 데이터 자체도 포함되죠. 우리는 개념적으로 또는 의식적으로 떠올리는 논리적인 데이터 도구들을 실제 동작하는 제품으로 구현하여 구성원들이 업무에 활용할 수 있도록 해요.
궁극적 목표는 데이터를 무의식적으로 자연스럽게 활용할 수 있는 문화를 조성하고, 무의식 적으로 데이터를 활용하는 문화를 만드는 것이라고 말할 수 있어요. 마치 숨을 쉬는 것처럼 자연스럽게 데이터를 활용할 수 있기를 바란달까요.
나아가, 화해가 10여년 동안 쌓아온 방대한 뷰티 데이터를 활용해 사용자들에게 재밌는 컨텐츠로 제공하기 위한 과제들을 진행하고 있어요. 그 중에 하나가 ‘리뷰 토픽’인데요. 사용자들의 제품 리뷰를 기반으로 찾고자 하는 제품을 ‘약산성이에요.’, ‘알갱이가 있어요.’ 등과 같이 대표 키워드로 요약 정보를 제공하는 콘텐츠에요. 많은 유저들의 사랑을 받는 이러한 콘텐츠들이 안정적이고 빠르게 제공되도록 데이터 플랫폼과 파이프라인을 운영하고 개선해나가고 있습니다.
이전 회사와 비교했을 때 화해는 데이터를 기반으로 제품을 개발하기 위한 고민과 노력을 많이 하고 있어요. 일반적으로 데이터가 제품이나 서비스 개발로 연결이 어려운 경우가 많은데, 이 곳에서는 데이터가 서비스에서 중요한 역할을 한다는 것이 명확히 인식되어 있어 큰 동기부여를 받을 수 있어요.
Q4. 최근 진행한 프로젝트 중 가장 기억에 남는 것은 무엇인가요?
초원 여러 프로젝트를 진행했지만, 특히 몇개월 전 진행한 업리프트 모델링을 활용해 마케팅 액션의 타겟팅을 최적화하고, 비용 대비 거래액 증분을 극대화한 과제가 가장 기억에 남아요.
마케팅팀에선 매 분기 화해위크마다 메신저 채널을 활용해 CRM 액션을 진행하는데요. 그러나 여러 마케팅 액션과 마찬가지로, 비용에 비례해 실제 거래액 증분이 발생하는지, 그리고 어떻게하면 비용 효율을 높일 수 있을지, 돌파할 방법이 있을지가 늘 고민이었어요.
이 문제를 해결하기 위해 유저 단위의 반응을 예측하여 증분이 클 유저 특성을 도출하는 업리프트 모델링이란 방법을 도입하게 되었죠. 이를 통해 액션을 취할 때 거래액 증분이 가장 커지는 그룹을 식별해 타겟을 집중할 수 있었습니다. 결과적으로 비용 효율이 2배로 향상되었고, 이전보다 타겟 수를 줄여 도달비용을 줄였음에도 실제 거래액 증분은 이전과 동일한 점을 확인할 수 있었어요.
처음 업리프트 모델링이라는 개념을 접하고, 그것이 실질적인 성과를 낼 수 있는 방법이라고 판단하여 학습하였는데 마케팅팀에서도 우리 파트의 제안을 즉시 받아들여 성과를 낼 수 있었어요. 개인적으로도 새로운 모델링 방법을 학습한 측면에서도 재밌었고, 공동의 목표를 향해 함께 달려 성과까지 좋았던 사례라 뿌듯하고 기억에 남아요.
덕헌 제품 데이터 수집 환경 자동화 프로젝트가 떠오르네요.
화해는 고객 경험을 긍정적으로 만들기 위해 파편화된 정보를 수집하는 데 많은 노력을 기울이고 있어요. 메타데이터 수집도 그 중 하나였는데, 이전에는 이 작업이 매뉴얼대로 이루어져 더 많은 정보를 수집하고 정제하려면 비용과 리소스가 선형적으로 증가하는 비효율 문제를 안고 있었어요.
그래서 제품 데이터 수집 환경을 자동화하는 프로젝트를 진행하게 되었죠. 이후 제품 메타데이터 수집 자동화를 통해 비용 효율화뿐만 아니라 데이터 처리 자동화로 일관성을 유지하면서 메타정보를 관리할 수 있게 되었어요.
현재는 수집되는 데이터가 증가함에 따라 정제 규칙을 관리하는 데 어려움을 겪고 있어, 생성형 AI를 도입하여 운영 비용을 최적화하는 데 집중하고 있습니다. 이 작업이 성공적으로 완료된다면, 화해에서 생성형 AI 도입을 통한 비용 효율화의 첫 번째 사례가 될 것으로 기대하고 있습니다.
Q5. 현재 각 파트 별 집중하고 있는 과제는 무엇인가요?
덕헌 화해는 뷰티 도메인에 대한 다양한 콘텐츠와 데이터를 방대하게 보유하고 있어요.
그러나 지금까지는 이러한 콘텐츠와 데이터를 유저에게 적절하게 제공할 수 있는 채널이 부족했습니다. 그래서 최근에 다양한 화면의 유저에게 적합한 아이템을 추천해주는 영역을 구현하는 데 집중하고 있어요.
또한, 머신러닝 기반의 추천 모델을 매일 학습해 사용자의 탐색 경험을 향상시키고 있는데요. 긴 시간동안 축적해 온 양질의 데이터로 다양한 실험을 통해 사용자에게 더 나은 제품을 추천할 수 있을 것으로 기대해요. 이러한 과제를 진행하면서 자연스럽게 다양한 포지션의 엔지니어와 긴밀하게 협업하게 되는데, 그 과정에서 매일 새로운 것을 알아가고, 성장하는 제 자신을 보니 더욱 동기부여가 되고 있어요.
초원 저희도 다양한 전사 프로젝트와 과제에 집중하고 있어요.
우선, 브랜드 성장과 신규 구매자 증대를 위한 가설 검증, 실험과 모델링에 집중하고 있어요. 여러 유관 부서와 협업하여 가설을 검증하고, 결과를 바탕으로 방향을 도출하는 이터레이션을 반복하며 임팩트를 만들어내고 있습니다. 이 과정에서 실험 뿐만 아니라 인과추론, 타겟 및 예측 모델링 등 다양한 방법들을 사용하고 있어요.
또한, 데이터 엔지니어링 파트를 포함한 여러 제품 조직과 협업하며 추천 시스템 개발에도 주력하고 있는데요. 단순히 추천 알고리즘을 개발하는 것뿐 아니라 안정적으로 모델 결과를 앱에 서비스하고, 지속적인 추천 알고리즘 개선을 위한 더 쉽고 빠른 실험 환경 구축에도 몰두하고 있습니다.
DW 관점에선 DW 사용 패턴을 모니터링하여 구조를 개선하고 비용을 효율화하는 것도 주요 과제 중 하나입니다. 이에 더해, 전사 구성원을 위한 데이터 도구의 사용성을 개선하는 것도 앞으로의 TO-DO로 잡고 있어요.
Q6. 화해 데이터팀에서만 경험할 수 있는 것, 자랑하고 싶은 것은 무엇일까요?
초원 화해 데이터팀에서는 좋은 조직 구조에서 좋은 동료들과 성장할 수 있는데요. 뻔한 말 같지만 그냥 하는 말이 아니에요.
화해에서는 다양한 데이터 직무가 하나의 팀에서 유기적으로 협업하고 있어요. 이는 내가 잘할 수 있는 일에 집중할 수 있게 함과 동시에, 내가 만들어낼 산출물의 형태 및 범위에 대한 제약에서 자유로울 수 있게 해줘요. 하나의 산출물을 만들고 적용할 때에도 여러 데이터 직무의 전문성을 빌려 적용할 수 있기 때문에 자연스럽게 “할 수 있는 일”에 대한 생각의 범위가 넓어져요. 작게는 DS의 결과물인 모델 및 랭킹 등의 알고리즘을 AE의 도움으로 더 쉽고 좋은 구조로 서빙할 수 있게 되는 것 처럼요.
이런 화해 데이터 조직 구조는 제품/비즈니스 성장은 물론, 나의 역량까지도 매일 성장하는 것이 느껴져 뿌듯한 순간들이 참 많습니다.
덕헌 화해 데이터팀의 미션은 데이터와 기술, 실험을 바탕으로 문제를 빠르고 정확하게 해결하고 결과적으로 의미있는 임팩트를 만들어 내는 것이에요. 핵심 키워드는 “비즈니스 성과”죠. 즉, 서비스에서 긍정적인 결과와 변화를 이끌어 내는 것을 의미해요.
우리의 명확한 미션을 기반으로 의사결정과 작업의 우선순위가 결정되기 때문에 팀 구성원 모두가 공통의 목표를 바라보며 협업할 수 있는 문화가 잘 자리잡혀 있어요. 그래서 돌이켜보면, 기억에 남는 프로젝트는 모두 공통적으로 비즈니스 성과로 이어질 수 있는 프로젝트였던 것도 같아요.
화해 데이터팀에 합류한다면, 우리만의 고유한 방식으로 비즈니스 성과를 이루는 경험을 통해 지속적인 성장과 동기부여를 받을 수 있을 거예요.
Q7. 올해 꼭 이뤄내고 싶은 각 파트, 그리고 데이터팀의 목표는 무엇인가요?
덕헌 올해에는 화해의 데이터 레이크를 구축할 계획이에요.
메타 데이터 같이 정형화된 데이터부터 이미지와 리뷰와 같은 비정형화된 데이터까지, 화해에는 정말 많은 뷰티 데이터가 있어 중앙 집중식 저장소 구성이 필수적인 상황이이에요.
그래서, 구성원의 데이터 활용 비용을 최적화하기 위해 확장 가능하고 안전한 플랫폼인 데이터 레이크를 구축하고 제공하여 이 문제를 해결하고자 합니다.
데이터 레이크를 구축하는데는 크게 3가지 기술적인 문제를 해결해야 해요.
첫 번째는 데이터 전체에 대한 신뢰성이 보장되어야 해요. 데이터 레이크는 전체 구성원이 다양한 목적으로 언제든 데이터를 활용할 수 있는 준비가 되어야 해요. 그렇기 때문에 데이터에 대한 신뢰성을 최고 수준으로 유지하기 위해 파이프라인에 대한 안정성, 모니터링, 알람 기능이 체계적으로 마련되어야 해요.
두 번째는 성능입니다. 화해에서 운영 되는 데이터와 파생 데이터 모두를 관리하기 때문에 방대한 양과 다양한 종류의 데이터가 저장되어 있을텐데, 이런 방대하고 다양한 종류의 데이터를 빠르게 탐색 및 활용하기 위해서는 높은 수준의 성능이 마련되어야 해요.
마지막으로 세 번째는 거버넌스입니다. 데이터 레이크는 모든 데이터가 그 대상이기 때문에 운영과 목적에 맞는 수집에서 사용, 폐기에 이르는 데이터 수명 주기 동안 데이터 관리를 위한 정책과 기술셋을 내재화 하고 개선시켜 나가야 해요.
이와 더불어 어떤 데이터를 어떻게 활용해야 하는 지 보다 접근 용이하도록 강화할 예정이에요. 데이터를 활용하는 구성원이 데이터가 어디에 있는지, 이 데이터가 어떤 의미인지를 파악하는 데에 대부분의 시간을 소요한다면 업무 효율성이 좋지 않게 될 거에요. 이에 대한 답을 빠르고 정확하게 찾기 위해 데이터 카탈로그를 제공함으로써 문제를 해결하려고 고민해보고 있어요. 체계적으로 잘 정리된 데이터들이 검색이나 탐색 등의 방법으로 목적에 맞게 잘 찾도록 구성원들에게 도움이 되려고 해요.
초원 파트와 팀의 목표는 지금보다 더 큰 비즈니스와 제품의 성과를 창출하는 것이에요.
데이터의 활용과 분석은 상황 판단, 진단 분석의 단계에서 예측과 처방 분석 단계로 발전하고 있는데요. 우리는 단순히 분석을 통해 의사결정을 지원하는 것에 그치지 않고, 예측을 기반으로 선제적으로 방향을 제시하여 성장과 변화를 견인하는 것을 목표로 하고 있어요.
그래서 지금보다 더 많은 제품과 비즈니스 성장을 만들어낼 예정이에요. 이를 위해 ML모델을 포함한 데이터 산출물들이 쉽게 활용될 수 있는 시스템 및 파이프라인을 고도화하는 것이 올해의 목표 중 하나라고 말씀 드릴 수 있어요.
Q8. 마지막으로, 데이터팀 합류를 꿈꾸는 분들에게 한마디 부탁드려요!
덕헌 데이터팀 엔지니어링 파트는 다양한 경험을 하셨던 엔지니어 분들이 함께하고 있어요. 그러나 다양한 경험보다 더 높은 가치는 본질적인 문제를 정의하고 그 문제를 해결하기 위해 새로운 기술이나 학습에 대해서 적극적이고 유연하게 대처하여 훌륭한 솔루션을 제공하는 데 있다고 생각해요. 그래서 현재는 데이터 엔지니어링의 절대적인 기술셋보다는 문제 정의와 해결이라는 2가지 역량이 더 중요하다고 할 수 있어요.
문제의 본질을 꽤 뚫어 볼 수 있는 눈과 해결하려는 데 강한 의지가 있으신 분은 언제나 환영입니다.
초원 화해 데이터팀은 문제 해결을 위해 선택할 수 있는 방법에 한계를 두지 않는다는 기조를 가지고 있어요. 경력/연차도 관계 없이 항상 새로운 방법을 학습하고 적용해보고 있습니다. 물론 새로운 방법 적용 자체가 목적이 아니라, 문제 해결을 위한 최적의 방법을 찾는다는 전제 하에서요.
또한, 결과물이 실제로 비즈니즈나 제품 성장에 미치는 임팩트를 고려하는 능력도 중요하게 생각하고 있어요.
개개인의 산출물이 어떤 임팩트를 가져다주는지 늘 고민하고, 학습과 성장에 갈증이 있는 분들이 오시면 만족도 높은 환경에서 빠르게 성장하실 수 있을 거예요!
이 글이 마음에 드셨다면 다른 콘텐츠도 확인해 보세요!
