logo

Buzzvil

데이터 엔지니어(경력 3년 이상)
구분
Demand Group
직군
Engineering
직무
Data Engineer
경력사항
경력 3년 이상
고용형태
정규직
근무지
Buzzvil서울특별시 송파구 석촌호수로 272, 엠와이 빌딩 2층~5층

팀 소개

버즈빌의 ​데이터 ​엔지니어링팀은 ​데이터가 생산되는 ​레이어부터 데이터가 소비되는 레이어까지를 ​아우르는 ​데이터 플랫폼과 ​워크플로우의 설계 및 ​운영을 담당하는 ​조직입니다. ​현재 1,500만 ​MAU, ​30여개의 ​마이크로 서비스로부터 흘러들어오는 ​TBs/day ​볼륨의 데이터가 scalable하게 ​적재적소에 ​활용 ​될 수 있는 ​데이터 플랫폼을 ​만들어가고 ​있습니다.

데이터의 원천으로부터 ​데이터 레이크(S3, ​Athena)까지 ​흘려보내는 ELT 워크플로우들은 ​Airflow를 통해 ​관리하고 있으며, AWS EKS 클러스터 위에서 약 800개의 DAG를 운영하고 있습니다. Airflow를 고도화하여 YAML 명세 기반 워크플로우 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 워크플로우를 등록하는 self-serving 플랫폼을 지향하고 있습니다. S3, Athena, Kafka, Fluentbit, Loki를 포함한 전반적인 데이터 인프라는 AWS와 Kubernetes 상에서 Terraform과 Helm을 통해 관리하고 있으며, Airflow는 Argo-CD를 통해 Docker 기반으로 배포를 하고 있습니다.


🔎 리워드 광고의 본질

🔎 버즈빌 광고 상품 자세히 알아보기

🔎 버즈빌이 일하는 방식


직무 소개

팀에 조인하셔서, 아래의 과업들을 같이 풀어나가면 좋겠습니다.


#SSOT

거의 모든 데이터 파이프라인이 배치 워크플로우으로 운영되고 있어, 실시간으로 데이터를 보고싶은 니즈를 충족시켜주지 못하는 상황이고, unified logging system이 없어 유지보수하는데 많은 시간을 쏟고 있습니다. 현재 Confluent Kafka로 기존의 데이터 스트리밍 인프라를 이전하고 있으며, 함께 unified logging system을 만들어 가고자 합니다.


#DataDiscovery

Amundsen이라는 데이터 카탈로그 툴을 도입했으나 사용성이 낮아 이를 교체하는 작업을 계획하고 있습니다. 데이터 파이프라인의 히스토리를 체계적으로 관리하고 데이터 메타데이터를 쉽게 확인할 수 있는 방법을 함께 고민하고자 합니다.


#DataQuality

2024년 2분기부터 데이터 퀄리티의 체계적인 관리 및 보장을 위해 여러 initiative를 시도하고 있습니다. 데이터 생산자와 소비자가 SLO와 expectation을 맞춰 볼 수 있는 교각을 만드는 일을 함께 해주셨으면 좋겠습니다.


#DataLake

2024년 2분기에 데이터 플랫폼 단순화를 위해 데이터 웨어하우스로 사용하던 Redshift를 제거하고 S3/Athena인 데이터 레이크로 데이터 플랫폼을 통합하는 작업을 진행했습니다. 그 과정에서 Iceberg 테이블 포맷을 도입하여 ACID 트랜잭션이나 업데이트 작업등 유연한 기능들을 제공하고 있습니다. 데이터 플랫폼 상에서의 비효율을 포착하고 최적화하는 일을 같이 진행해보고 싶습니다.


🔎 버즈빌 테크 블로그 구경하기

🔎 버즈빌 개발문화를 소개합니다.

🔎 데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

🔎 Self Serving Data Platform 구축하기 (feat. Airflow)


자격요건

  • 1년 이상의 AWS, GCP등 cloud native 환경에서의 데이터 인프라 구축 및 운영 경험을 가지고 있습니다.
  • 안정적이고 확장가능한 데이터 제품을 설계하고 이를 서빙하기 위해 필요한 사항을 직접 구현할 수 있습니다.
  • 높은 코드 퀄리티와 아키텍쳐 수준을 지향하며, 이를 데이터 플랫폼 및 데이터 제품에 녹여낼 수 있습니다.
  • Airflow와 같은 워크플로우 scheduler (Prefect, Oozie등)에 대한 이해와 이를 활용한 워크플로우 개발 경험이 있습니다.
  • CS 전공자 또는 그에 상응하는 알고리즘, 데이터구조, OS, 데이터베이스 등 기본적인 전산 지식에 대한 이해도가 있습니다.


우대사항

  • Kubernetes의 전반적인 구성요소와 동작원리를 이해하고 있으며, Kubernetes 환경에서의 데이터 인프라 구축의 경험이 있습니다.
  • 언제든 Airflow, Spark와 같은 오픈소스의 코드를 직접 딥다이브 할 수 있는 의지와 능력이 있습니다.


개발 환경 및 문화

개발 환경

  • 주요 기술 : Go, Python, Airflow, Athena, Kafka, Kubernetes, Fluentbit, Loki
  • 업무 도구 : Jira, Confluence, Slack, Github
  • 코드 리뷰 : 한 명 이상의 Approve를 받아야 코드 반영이 가능하고, 팀원들이 코드 리뷰에 적극적으로 참여합니다.
  • 테스트/빌드/배포 : Github Action, Gitploy
  • 모니터링 : Datadog, Grafana, Prometheus, AWS CloudWatch


개발 문화

성장을 위한 개발 문화와 훌륭한 동료 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.

  • 코드 리뷰를 통한 적극적인 공유 및 소통
  • 활발하게 이루어지는 사내 스터디 및 세미나
  • AI 툴 적극 지원(Claude code Max $200 플랜, ChatGPT, Cursor, Github copilot, Coderabbit)
  • 좋은 설계와 좋은 코드를 위한 지속적인 노력
  • 직군의 경계를 허무는 능동적인 참여 문화
  • 자율적이고 효율적인 업무 프로세스
  • 새로운 기술 도입에 대한 적극적인 논의와 지원


채용 프로세스

  • 서류전형: 역량 및 경력 중심의 이력서 (이력사항에 따라 온라인 코딩테스트 요청 드릴 수 있습니다.)

※ 온라인 코딩테스트 : 해커랭크 플랫폼을 통한 알고리즘 코딩 테스트

  • 사전과제 : 직무 적합도 판단을 위한 사전 과제 진행
  • 1차 인터뷰(Job-fit): 실무진 면접, 현장 코딩 테스트 및 사전과제 리뷰
  • 레퍼런스 체크
  • 2차 인터뷰(Culture-fit): CEO & Bar-raiser
  • 처우협의
  • 오퍼레터 전달 (모든 전형은 영업일 10일 이내로 합격/불합격 전달 드립니다.)


🎤 참고사항

  • 상황에 따라 1~2회의 추가 인터뷰를 요청할 수 있습니다.
  • 입사 후 프로베이션 3개월 운영할 예정이며, 프로베이션 기간 동안의 급여는 100% 지급됩니다.
  • 장애인, 국가유공자, 보훈 대상자는 관련 법령에 따라 우대합니다.
  • 이력서 제출 시, 현재 연봉은 기재하지 말아 주세요.
  • 포트폴리오가 있으시다면 링크로 이력서에 함께 입력해 주세요.


채용서류 반환 관련 고지

1. 본 고지는 ‘채용절차의 공정화에 관한 법률’ 제11조를 따르며, 최종합격자를 제외한 구직자는 채용여부 확정일 이후 14일 이내 채용서류의 반환을 청구할 수 있습니다.

2. 다만, 홈페이지 혹은 전자우편 등 전자서류로 제출된 경우 및 구직자가 버즈빌의 요구 없이 자발적으로 제출한 경우의 서류는 반환 청구 대상에서 제외되며, 천재지변 혹은 버즈빌 측 책임이 없는 사유로 채용서류가 멸실된 경우에는 반환이 되지 않습니다.

3. 모든 채용 서류는 상기 법률에 따라 최종 합격자 발표 후 180일간 보관되며 그 이후에는 파기되므로 해당 기간이 경과된 후에는 반환이 불가능합니다.

4. 채용서류의 반환 청구는 [email protected] 이메일로 신청하여 주시기 바라며, 반환 청구 이후 14일 이내 지정한 주소지로 등기 우편을 통해 송부해 드릴 예정입니다. 이때, 소요되는 비용은 신청인이 부담할 수 있습니다.

공유하기
데이터 엔지니어(경력 3년 이상)

팀 소개

버즈빌의 ​데이터 ​엔지니어링팀은 ​데이터가 생산되는 ​레이어부터 데이터가 소비되는 레이어까지를 ​아우르는 ​데이터 플랫폼과 ​워크플로우의 설계 및 ​운영을 담당하는 ​조직입니다. ​현재 1,500만 ​MAU, ​30여개의 ​마이크로 서비스로부터 흘러들어오는 ​TBs/day ​볼륨의 데이터가 scalable하게 ​적재적소에 ​활용 ​될 수 있는 ​데이터 플랫폼을 ​만들어가고 ​있습니다.

데이터의 원천으로부터 ​데이터 레이크(S3, ​Athena)까지 ​흘려보내는 ELT 워크플로우들은 ​Airflow를 통해 ​관리하고 있으며, AWS EKS 클러스터 위에서 약 800개의 DAG를 운영하고 있습니다. Airflow를 고도화하여 YAML 명세 기반 워크플로우 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 워크플로우를 등록하는 self-serving 플랫폼을 지향하고 있습니다. S3, Athena, Kafka, Fluentbit, Loki를 포함한 전반적인 데이터 인프라는 AWS와 Kubernetes 상에서 Terraform과 Helm을 통해 관리하고 있으며, Airflow는 Argo-CD를 통해 Docker 기반으로 배포를 하고 있습니다.


🔎 리워드 광고의 본질

🔎 버즈빌 광고 상품 자세히 알아보기

🔎 버즈빌이 일하는 방식


직무 소개

팀에 조인하셔서, 아래의 과업들을 같이 풀어나가면 좋겠습니다.


#SSOT

거의 모든 데이터 파이프라인이 배치 워크플로우으로 운영되고 있어, 실시간으로 데이터를 보고싶은 니즈를 충족시켜주지 못하는 상황이고, unified logging system이 없어 유지보수하는데 많은 시간을 쏟고 있습니다. 현재 Confluent Kafka로 기존의 데이터 스트리밍 인프라를 이전하고 있으며, 함께 unified logging system을 만들어 가고자 합니다.


#DataDiscovery

Amundsen이라는 데이터 카탈로그 툴을 도입했으나 사용성이 낮아 이를 교체하는 작업을 계획하고 있습니다. 데이터 파이프라인의 히스토리를 체계적으로 관리하고 데이터 메타데이터를 쉽게 확인할 수 있는 방법을 함께 고민하고자 합니다.


#DataQuality

2024년 2분기부터 데이터 퀄리티의 체계적인 관리 및 보장을 위해 여러 initiative를 시도하고 있습니다. 데이터 생산자와 소비자가 SLO와 expectation을 맞춰 볼 수 있는 교각을 만드는 일을 함께 해주셨으면 좋겠습니다.


#DataLake

2024년 2분기에 데이터 플랫폼 단순화를 위해 데이터 웨어하우스로 사용하던 Redshift를 제거하고 S3/Athena인 데이터 레이크로 데이터 플랫폼을 통합하는 작업을 진행했습니다. 그 과정에서 Iceberg 테이블 포맷을 도입하여 ACID 트랜잭션이나 업데이트 작업등 유연한 기능들을 제공하고 있습니다. 데이터 플랫폼 상에서의 비효율을 포착하고 최적화하는 일을 같이 진행해보고 싶습니다.


🔎 버즈빌 테크 블로그 구경하기

🔎 버즈빌 개발문화를 소개합니다.

🔎 데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

🔎 Self Serving Data Platform 구축하기 (feat. Airflow)


자격요건

  • 1년 이상의 AWS, GCP등 cloud native 환경에서의 데이터 인프라 구축 및 운영 경험을 가지고 있습니다.
  • 안정적이고 확장가능한 데이터 제품을 설계하고 이를 서빙하기 위해 필요한 사항을 직접 구현할 수 있습니다.
  • 높은 코드 퀄리티와 아키텍쳐 수준을 지향하며, 이를 데이터 플랫폼 및 데이터 제품에 녹여낼 수 있습니다.
  • Airflow와 같은 워크플로우 scheduler (Prefect, Oozie등)에 대한 이해와 이를 활용한 워크플로우 개발 경험이 있습니다.
  • CS 전공자 또는 그에 상응하는 알고리즘, 데이터구조, OS, 데이터베이스 등 기본적인 전산 지식에 대한 이해도가 있습니다.


우대사항

  • Kubernetes의 전반적인 구성요소와 동작원리를 이해하고 있으며, Kubernetes 환경에서의 데이터 인프라 구축의 경험이 있습니다.
  • 언제든 Airflow, Spark와 같은 오픈소스의 코드를 직접 딥다이브 할 수 있는 의지와 능력이 있습니다.


개발 환경 및 문화

개발 환경

  • 주요 기술 : Go, Python, Airflow, Athena, Kafka, Kubernetes, Fluentbit, Loki
  • 업무 도구 : Jira, Confluence, Slack, Github
  • 코드 리뷰 : 한 명 이상의 Approve를 받아야 코드 반영이 가능하고, 팀원들이 코드 리뷰에 적극적으로 참여합니다.
  • 테스트/빌드/배포 : Github Action, Gitploy
  • 모니터링 : Datadog, Grafana, Prometheus, AWS CloudWatch


개발 문화

성장을 위한 개발 문화와 훌륭한 동료 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.

  • 코드 리뷰를 통한 적극적인 공유 및 소통
  • 활발하게 이루어지는 사내 스터디 및 세미나
  • AI 툴 적극 지원(Claude code Max $200 플랜, ChatGPT, Cursor, Github copilot, Coderabbit)
  • 좋은 설계와 좋은 코드를 위한 지속적인 노력
  • 직군의 경계를 허무는 능동적인 참여 문화
  • 자율적이고 효율적인 업무 프로세스
  • 새로운 기술 도입에 대한 적극적인 논의와 지원


채용 프로세스

  • 서류전형: 역량 및 경력 중심의 이력서 (이력사항에 따라 온라인 코딩테스트 요청 드릴 수 있습니다.)

※ 온라인 코딩테스트 : 해커랭크 플랫폼을 통한 알고리즘 코딩 테스트

  • 사전과제 : 직무 적합도 판단을 위한 사전 과제 진행
  • 1차 인터뷰(Job-fit): 실무진 면접, 현장 코딩 테스트 및 사전과제 리뷰
  • 레퍼런스 체크
  • 2차 인터뷰(Culture-fit): CEO & Bar-raiser
  • 처우협의
  • 오퍼레터 전달 (모든 전형은 영업일 10일 이내로 합격/불합격 전달 드립니다.)


🎤 참고사항

  • 상황에 따라 1~2회의 추가 인터뷰를 요청할 수 있습니다.
  • 입사 후 프로베이션 3개월 운영할 예정이며, 프로베이션 기간 동안의 급여는 100% 지급됩니다.
  • 장애인, 국가유공자, 보훈 대상자는 관련 법령에 따라 우대합니다.
  • 이력서 제출 시, 현재 연봉은 기재하지 말아 주세요.
  • 포트폴리오가 있으시다면 링크로 이력서에 함께 입력해 주세요.


채용서류 반환 관련 고지

1. 본 고지는 ‘채용절차의 공정화에 관한 법률’ 제11조를 따르며, 최종합격자를 제외한 구직자는 채용여부 확정일 이후 14일 이내 채용서류의 반환을 청구할 수 있습니다.

2. 다만, 홈페이지 혹은 전자우편 등 전자서류로 제출된 경우 및 구직자가 버즈빌의 요구 없이 자발적으로 제출한 경우의 서류는 반환 청구 대상에서 제외되며, 천재지변 혹은 버즈빌 측 책임이 없는 사유로 채용서류가 멸실된 경우에는 반환이 되지 않습니다.

3. 모든 채용 서류는 상기 법률에 따라 최종 합격자 발표 후 180일간 보관되며 그 이후에는 파기되므로 해당 기간이 경과된 후에는 반환이 불가능합니다.

4. 채용서류의 반환 청구는 [email protected] 이메일로 신청하여 주시기 바라며, 반환 청구 이후 14일 이내 지정한 주소지로 등기 우편을 통해 송부해 드릴 예정입니다. 이때, 소요되는 비용은 신청인이 부담할 수 있습니다.