2017년 9월부터 5개월 간의 경험들
새로운 회사에서 어떤 일들을 했을까
한 달 전쯤부터 어떤 일들을 했는지 꾸준히 정리해야겠다고 마음먹었는데 차일피일 미루다 이제야 정리해본다. 매일매일 새로운 문제를 만나고, 또 극복하면서 굉장히 많은 일을 했다고 생각했는데 막상 정리하면서 별 것도 아닌 것 같은 일들은 소거하다 겨우 이 정도 일을 이렇게나 오래 걸려서 했나 싶어서 슬플 따름이다.
데이터 파이프라인 구축
기존의 방식에서 HDFS에 저장하는 방식으로 전환
AWS Kinesis Firehose + EMR을 시도해본 뒤 직접 Hadoop Ecosystem 환경을 구축하기로 결정
Hadoop Ecosystem Component들 관리를 위해 Apache Ambari 사용
HDFS 운용 경험
HA를 위한 Secondary Name Node, Journal Node 개념 이해와 설정
Replication을 위한 설정 조율
HDFS Rebalancing
Data Node 증설 및 디스크 추가
YARN 운용 경험
Resource Manager, Node Manager의 역할 이해
Local Cache로 인한 디스크 부족 상황 경험
Spark application의 Dynamic Allocation
데이터 파이프라인 Component 간의 데이터 전달을 위해 Kafka 구축
Producer, Consumer, Offset, Consumer Group, Lag 개념 이해
디스크 용량 부족시 디스크 증설 작업 경험
Broker 증설 작업 경험
장애로 인해 Broker가 급사했을 때 복구 경험
Exactly Once Semantic Messaging을 위해 NoSQL 기반 Component 활용
Aerospike 운용 경험
그러나 HDFS에 저장할 때는 동일한 메세지를 동일한 파티션에 저장한 뒤 파티션째로 Cleansing Job을 돌리는 것으로 메세지 중복 제거
운영 단 사용은 Zeppelin으로
Interpreter 개념 이해 및 설정
User Impersonation
Ambari Metrics Collector, Grafana로 서버 모니터링
데이터 Format 문제
Format이 섞이면서 생기는 문제들 경험
JSON 포맷 충돌로 인한 고통 경험
이 문제를 극복하기 위해 JSON Schema 기반 Strict Format 도입
Format Migration
저장된 데이터 분석은 Spark로
기본적인 Spark 작동 원리 이해
Driver, Executor
여러 가지 연산들
빠른 조회를 위해 Partitioning
어떤 경우 Partition filtering이 안 되는지 이런저런 실험
Out Of Memory의 고통을 많이 경험
분석을 위한 여러 가지 로직 개발 경험
Retention 분석
Single Touch, Multi Touch, Multi Source 분석
Join시 Hash partitioning에 의한 Data skewing 문제
Theta join시 Cross join이 되지 않도록 회피하기 위한 작업
Kafka로부터 HDFS에 저장하기 위해 Spark Streaming + Kafka Ingestion 활용
해보고 싶었지만 아직 해보지 못한 것들
데이터 파이프라인 모니터링 및 경고 시스템 개선
무중단 HDFS 버전 업그레이드
HDFS 인프라 작업 도중 Data Node가 갑자기 Stale 상태가 될 때가 있는데, Name Node를 재시작하면 문제는 해결되지만 정확한 이유가 뭔지 아직 밝히지 못함
실시간 데이터 및 로그 조회 편의를 위한 ELK 구축
비용 절감을 위한 Hot-warm Architecture 구성
데이터 파이프라인 Component에 Akka 구조를 적용하여 좀 더 내구성 있게 보완
이 일들을 하면서 도움을 주신 분들에게 정말 감사하다는 말씀을 드리고 싶다. 마지막으로, 어서 분석 쪽으로 더 많은 일을 해보고 싶다.
