Introduction

Software Engineer 김도진입니다.

제품을 데이터 기반으로 잘 만드는 Product Engineer가 되기 위해 개발 여러 분야에 관심을 갖고 있습니다. 좋은 제품을 만들기 위해 필요한 Data, Backend, Frontend, Infrastructure를 공부하고 개발합니다.

Work Experience

당근마켓

2022.04 ~ 현재

Data 가치화팀

AB Testing 실험플랫폼 설계 및 개발

당근마켓 AB Testing 실험플랫폼을 설계하고 구축했습니다. 실험 전반을 담당하는 서버, 백오피스 프론트, 실험 로깅할 수 있는 서버 인프라 및 자동화된 실험 분석 데이터 파이프라인을 개발했습니다.
지표 플랫폼 설계 및 개발

파편화되어있고 오너십이 부재했던 전사지표 계산 방식을 Airflow를 통한 파이프라인으로 이관하는 작업을 했습니다. 기존 지표들 현황 파악부터, 지표 정의, 파이프라인 아키텍처 구성, 데이터 backfill을 통해 전사에서 중요하게 생각하는 지표들을 안정적인 인프라에서 관리할 수 있도록 개발했습니다. 몇줄의 sql과 설정 파일을 통해 여러 디멘션의 지표를 만들 수 있게 했습니다.
스트리밍 이벤트 파이프라인 설계 및 개발

전사에 사용되는 이벤트들을 실시간으로 볼 수 있도록 실시간 이벤트 파이프라인의 아키텍처를 설계했고 구현했습니다. 기존의 배치 파이프라인보다 더 확장 가능한 형태로 설계했고, 데이터 정합성 확인 및 마이그레이션까지 계획 및 진행했습니다.
DBT 구조화 프로젝트

DBT와 Airflow를 활용해서 데이터를 쉽게 구조화하고 쉽게 Fact/Dimension 데이터셋들을 만들 수 있는 플랫폼을 개발했습니다.
온콜 업무

Database, 사용자 행동 이벤트, 3rd party 데이터 적재, 모니터링 및 장애시 대응했습니다. GCP 인프라의 권한 관리 및 리소스 관리를 IaC했습니다. Operation 문서들을 작성해서 자산화했습니다.

사용한 기술:

백엔드 - Golang, gRPC, Aurora MySQL, Docker, Kubernetes, Github Actions, Monitoring with kubernetes dashboard, datadog, sentry, grafana
프론트 - React.js, Typescript, Recoil
데이터 - Airflow, Spark, Kubernetes, Superset, Beam, GCP BigQuery, PubSub, Dataflow, AWS EMR, Glue, S3, Terraform, DBT

뱅크샐러드 ****

2020.02 ~ 2022.03

Data Engineering Team