피플
Be Better | 분석 엔지니어(Analytics Engineer)에게 묻습니다
2023. 06. 15
Be Better | 분석 엔지니어에게 묻습니다
안녕하세요. 대한민국 1등 뷰티 앱 화해입니다.
자신의 직업에 대해 진지하게 생각하고 정리해 본 적 있나요? 매일 하는 일이지만 따로 시간을 내서 ‘내 일’에 대해 생각해 볼 기회는 많지 않죠. 지금부터 같이 모여서 얘기해 보면 어떨까요. 내 경험과 현재의 생각, 그리고 목표까지 함께 나누다 보면 우리 한 단계 더 성장할 수 있지 않을까요?
그래서, 분석 엔지니어(Analytics Engineer)와 인터뷰 해보았습니다.
Q. 본인 소개와 함께 화해팀에 합류하기까지 어떤 커리어패스를 거쳤는지 소개해주세요.
혜림 안녕하세요. 화해 데이터팀 분석파트에서 분석 엔지니어로 일하고 있는 최혜림입니다. 사실 첫 커리어는 앱 개발로 시작했는데, 우연한 기회로DW(Data Warehouse) 조직으로 이동하게 되었어요. 실제로 데이터 관련 업무를 한 건 9년 남짓이에요. 당시 조직에서 데이터 수집, 가공을 주로 하며 DW와 BI(Business Intelligence)에 대한 폭넓은 경험을 쌓을 수 있었어요. 이후 이직한 회사에서는 지표 정의부터 시각화까지 다양한 업무를 했어요.
수정 안녕하세요, 화해 분석 엔지니어 이수정입니다. 스타트업에서 데이터 분석가로 커리어를 시작했어요. 당시 회사 규모가 크지 않아 데이터팀은 별도로 없었고 개발팀 소속이었는데요. 제가 분석 시 사용할 형태로 데이터를 직접 추출하거나 가공해야 했어요. 어떻게 하면 데이터를 대시보드로 만들기 편하고 분석하기 편한 형태로 가공/저장할지 고민을 하다 보니 그 과정이 재미있더라구요. 두 번째 회사에서는 경험을 살려 DW/BI Engineer로 일했는데, 제가 가공한 데이터를 공통으로 활용하는 환경 구축에 대한 고민을 할 수 있는 시간이었어요.
화해 데이터팀 분석파트 최혜림님, 이수정님
Q. 화해 입사를 결정하게 된 이유는 무엇인가요?
혜림 화해에 먼저 입사한 이전 직장 동료의 부탁으로 DW 직무를 설명했던 게 시작이었어요. 당시 좋은 인상은 받았지만 사실 이직 생각은 없었는데, 이후 제가 화해팀에 기여할 수 있는 일이 많겠다는 생각이 들더라구요.
예전에 작성했던 블로그 글(화해의 Data Warehouse를 소개합니다)에서도 언급했는데, 제가 합류할 당시에는 AWS에서 GCP로 분석 환경이 넘어간 지 얼마 안 된 상태였고, 작은 도메인을 커버하는 DW 테이블 몇 개가 생성되어 있던 시기였어요. 이 시기에 DW 설계와 구축에 특화된 제 커리어가 도움이 될 것 같았어요. 데이터팀의 자율적이고 주도적인 분위기도 중요한 요인이었어요.
수정 입사 전 데이터 팀장님과 커피챗을 했는데 데이터 기반 실험과 의사 결정 문화가 좋았어요. 무엇보다도 전 직장에서 사수였던 혜림님의 영향이 컸는데, 화해에서 DW를 같이 구축할 사람을 찾고 있다고 하시더라고요. 다소 늦게 분석 엔지니어 커리어를 시작한 제가 더 좋은 방향으로 성장할 수 있도록 가감 없이 피드백을 주신다는 측면에서 함께 일하면 많은 도움을 받고 재미있게 일할 수 있을 거라 생각했어요.
Q. 화해 분석 엔지니어는 타사의 BI/DW Engineer와 어떤 차별점이 있나요?
혜림 화해에서도 처음에는 DW 엔지니어라는 명칭을 사용했어요. 초기 DW 구축을 어느 정도 끝내고 ‘누구나’ 데이터를 ‘쉽게’ 분석할 수 있는 환경에 대해 고민하다 보니 추출자동화 시트, 지표봇 등의 도구를 만들게 되었고, 데이터 캠퍼스 교육도 하면서 업무 영역이 확장됐어요. DW 엔지니어라는 직무명으로는 현재의 역할과 앞으로의 기대 역할을 잘 설명하기 어렵다는 판단이 들어 ‘분석 엔지니어’로 직무명을 변경하고, 기대 역할과 행동을 정의했어요.
기존의 DW/BI 엔지니어는 DW/Mart 테이블 구축 및 관리, 대시보드 관리에 역할이 집중되었다면 분석 엔지니어는 데이터와 비즈니스를 긴밀하게 연결하기 위해 여러 문제를 해결하는 역할을 해요. 이 과정에서 DW 구축이나 새로운 시각화 도구 검토, 데이터 교육, 자동화 등이 업무에 포함될 수 있어요.
화해 블로그에서도 몇 차례 소개된 것처럼 화해팀의 데이터 문화는 꽤 성숙한 단계인데요. 계속 이런 문화를 지키고 성장시켜 나감에 따라 분석 엔지니어의 역할 또한 더 확장될 거라 생각해요.
Q. 화해팀에서는 분석 엔지니어가 서비스나 비즈니스에 어떤 영향을 미칠 수 있을까요?
혜림 화해 분석 엔지니어는 개발 DB에서 바로 조회하기 어려운 데이터를 DW를 통해 쉽고 빠르게 접근할 수 있도록 데이터를 구조화하고, 카탈로그에 관련 정보를 업데이트함으로써 데이터 접근성을 높이고 분석의 질과 속도를 높여요. 이를 통해 간접적으로는 비즈니스 의사결정 속도를 빠르게 하여 지표 상승에 도움을 주고 있고, 직접적으로는 서비스에 나가는 통계 데이터를 제공하는 방식으로 기여하고 있어요.
화해 데이터 카탈로그
Q. 화해에서 진행한 프로젝트나 과제 중 기억에 남는 것이 있다면 소개해주세요.
수정 버디즈를 대상으로 ‘화해 데이터 캠퍼스’를 운영한 것이 가장 기억에 남아요. 데이터팀에서 화해 구성원들이 데이터를 보다 쉽게 이해할 수 있도록 교육을 진행하고 있는데, 분석 엔지니어로서 하드스킬 중 하나인 빅쿼리 교육을 담당하고 있거든요.
사실 쿼리 강의는 외부에서도 많이 들을 수 있지만, 현업에서 사용하는 데이터와 달라 흥미를 붙이거나 실무에 적용하기 어려운 경우가 있어요. 데이터 캠퍼스의 빅쿼리 교육은 버디즈가 담당하는 도메인의 테이블을 실제로 조회할 수 있어 흥미를 붙이기 쉽고, 내가 발생시킨 데이터를 조회할 수 있어 쿼리나 테이블 구조도 쉽게 이해할 수 있어요.
혜림 최근에 화해에 샘플체험 서비스가 생겼는데요. 화해 쇼핑센터 어드민에서 파트너사에 제공하는 샘플체험 관련 지표를 연동하는 작업을 했어요. 화해 어드민에서는 주로 AWS의 RDS에 있는 데이터를 활용하는데, 요구사항에 포함된 데이터가 RDS 데이터로 100% 커버할 수 없기에 Data Lake에서 집계 후, Fact 테이블을 만들어서 어드민에서 BigQuery API를 통해 조회하도록 만들었어요. 앱에서 직접 사용하는 건 아니지만 BigQuery 데이터를 조회해 활용한 첫 사례라 기억에 남네요.
Q. 평소 화해팀 구성원은 자신의 직무에 대해 어떤 생각을 하고 계시는지 궁금했어요. 여러분이 생각하는 ‘분석 엔지니어’에 대해 말씀해 주세요.
혜림 분석 엔지니어라는 직무가 많진 않다 보니 데이터 관련 직무를 수행하시는 분들도 어떤 업무를 하는지 잘 인지하기 어려운데요. 분석 엔지니어란 데이터와 비즈니스 사이의 가교 역할을 한다고 생각해요. 좁게는 데이터 분석과 데이터 엔지니어링을 이어주기도 하고, 넓게는 데이터와 데이터를 활용하는 모든 동료들을 이어주기도 해요.
데이터 엔지니어도 이 역할을 수행하고 있지만, 데이터 엔지니어는 데이터를 안정적이고 정확하게 입수하여 토대와 뿌리를 마련해 주는 역할이라면 분석 엔지니어는 이렇게 쌓인 데이터를 잘 가공해 열매를 맺을 수 있도록 가지를 뻗어나가게 하는 역할이라고 할 수 있어요. 너무 거창하게 설명한 것 같은데, 데이터 생태계가 데이터 입수/변환/분석(활용)으로 구성되어 있다면 주로 변환 작업에 집중하는 직무입니다.
수정 DW나 데이터 카탈로그가 없어도 데이터를 조회하고 쓸 수는 있어요. 다만 조회하는 시점/사람마다 다른 데이터를 추출하게 되고, 복잡한 방법으로 조회하다 보면 데이터 추출에 많은 시간을 쏟게 되어 실제 하고자 했던 업무를 하기까지 시간이 오래 걸리게 되죠. 분석 엔지니어는 데이터 사용자들이 데이터를 쉽고, 정확하고, 빠르게 쓸 수 있는 환경을 만드는 사람이에요.
DW 구축 외에도 데이터 도구/환경 개발이나 조직의 데이터 리터러시 향상을 위해 힘쓰는데, 이런 환경들도 결국 데이터를 쉽고, 정확하고, 빠르게 쓸 수 있는 환경을 만들기 위함이에요.
Q. 이제 두 분의 개인적인 이야기도 들어보고 싶어요. 분석 엔지니어로서 화해에서 이루고 싶은 목표나 도전해보고 싶은 과제가 있으신가요?
혜림 버디즈라면 직무에 관계없이 누구나 쉽고 편하게 데이터를 조회하고 사용하는 모습을 만드는 게 목표예요. 그래서 앞서 말씀드린 것처럼 데이터 사이언티스트와 분석 엔지니어가 ‘데이터 캠퍼스’를 운영하고 있어요. 데이터 리터러시부터 지표에 대한 이해, 시각화 도구 기초, SQL 과정 등이 포함되어 있고, 화해팀 구성원 누구라도 신청만 하면 자유롭게 수강할 수 있어요. 예전에는 데이터 업무 요청에 “이런 데이터를 보고 싶어요”라는 요청이 주였다면 요즘은 “이렇게 데이터를 뽑아봤는데 맞는 건가요?”라는 질문이 늘어나고 있어 교육의 효과를 체감하고 있어요.
수정 현재 주요 도메인들에 대해 DW 테이블이 한차례 만들어진 상태고, DW에서 집계한 데이터가 어드민이나 앱에 제공되고 있어요. DW 테이블이 점점 많아지고 다양한 곳에 제공되다 보니 여러 개선 포인트도 생기고 있어요. 좀 더 효율화된 구조로 테이블을 만들고 싶은 목표가 한 가지 있고, 오류가 생겼을 때 영향도 파악을 보다 쉽게 할 수 있는 환경을 만드는 것도 해보고 싶은 과제 중 하나예요.
Q. 분석 엔지니어가 화해팀에서 커리어를 쌓는다는 건 어떤 의미가 있을까요?
혜림 앞서 화해 합류 계기가 “기여할 수 있는 일이 많을 것 같아서”라고 말씀드렸는데요. 분석 엔지니어로서 좋은 시기에 화해에 합류해 초기 DW 구축을 성공적으로 마쳤어요. 보통 합류 초기에 하기 어려운 경험인데 좋은 기회로 DS, DE분들과 즐겁게 협업하며 만들어갈 수 있었어요.
이후로는 기존 DW를 확장하고 유지보수하며 커리어를 확장하고 있는데요. 커리어를 확장하기 위해 일했다기보다 그때그때 문제를 정의하고 해결 방법을 찾다 보니 자연스럽게 업무가 확장되고, 직무명도 바뀌었어요. 수정님과 함께 “분석 엔지니어”라는 직무를 정의하고 지향하는 모습을 구체화하면서 제가 그리는 분석 엔지니어의 모습이 명확해졌다는 데 의미가 있다고 생각해요.
수정 분석 엔지니어는 회사마다 부르는 이름이 다른 만큼 역할도 다른데요. 화해 분석 엔지니어는 가지고 있는 문제를 제일 잘 해결할 수 있다면 업무 영역이나 방법에 구속받지 않고 다양한 시도를 해볼 수 있어요. 이 과정에서 구성원들의 업무를 돕는 다양한 자동화 도구들이 탄생했구요. 다른 팀/파트와도 유기적으로 협업하며 서로 도움을 받고 있는데, 그 과정에서 새로운 지식과 경험을 많이 얻을 수 있어요.
Airflow에서 관리하는 DW DAG
Q. 동료 분석 엔지니어분들에게 하고 싶은 말이 있다면 자유롭게 해주세요.
혜림 화해 분석 엔지니어는 DW 관련 업무가 아니라도 데이터와 비즈니스 사이에서 할 수 있는 일을 스스로 정의하고 주도적으로 수행하고 있어요. 업무 스킬로는 SQL, Python과 같은 언어와 Airflow와 같은 워크플로우 도구 활용 능력, 시각화 도구에 대한 활용 경험 등 Hard Skill도 필요하지만 무엇보다도 개발자, 기획자, 분석가, AI 엔지니어 등 다양한 동료들과 협업하는 만큼 커뮤니케이션 스킬, 비즈니스 도메인 지식 등의 Soft Skill도 필요해요. 데이터를 통해 비즈니스 지표 성장에 기여하고 여러 분야의 직무와 협업하는 것을 즐기신다면 분석 엔지니어 직무를 즐겁게 수행하실 수 있을 거예요!
수정 아무리 좋은 데이터라도 활용하기 어려우면 서비스나 비즈니스에 영향을 주기 어렵잖아요. 분석 엔지니어는 구성원들과 협업을 통해 데이터를 쉽게 사용할 수 있도록 돕고 있어요. 수동적으로 테이블이나 데이터를 만들어주는 역할이 아니라 함께 문제를 정의하고 어떤 방식으로 데이터를 제공해야 해당 부서에서 사용하기 쉬운 형태인지, 이미 제공하고 있는 비슷한 데이터는 없는지 등을 생각하며 개선하는 게 중요해요. 이런 문제 해결을 좋아하는 분이라면 분석 엔지니어 직무를 충분히 수행하실 수 있을 거라 생각합니다!
Be Better | 분석 엔지니어에게 묻습니다
Be Better | 분석 엔지니어에게 묻습니다
이 인터뷰가 마음에 드셨다면 데이터팀의 다른 콘텐츠도 확인해보세요!
