15탄-롯데 e커머스의 마이크로 서비스 아키텍처 진화
롯데 e커머스의 마이크로 서비스 아키텍처 진화와 비용 관점의 운영 노하우
<1> 롯데 e커머스?
<2> 롯데 e커머스 클라우드 전환 여정
<3> 오픈 후 배운 점
<4> 비용 관리는 어떻게 하고 있나?
<5> 과다 비용 문제점
<6> 비용 최적화 과정 - 자원 최적화
<7> 비용 최적화 과정 - 할인/계약 비용 분석
<8> 비용 최적화로 배운 것?
<10> 개인 정리
<1> 롯데 e커머스?
1
클라우드 플랫폼 팀
롯데 그룹 롯데쇼핑에서 이커머스 플랫폼 운영
롯데 닷컴
2020년 롯데 ON 오픈
대기업 속의 스타트업
2
롯데 ON?
롯데 e커머스가 운영하는 ON/OFF 라인 쇼핑 플랫폼.
롯데 백화점, 마트, 슈퍼, 홈쇼핑, 하이마트 등 롯데 ON의 하나의 앱에서 서비스함.
3
2020년 점유율?
네이버 17% , 쿠팡 13% , 이베이 12% , 11번가 6% , 롯데 ON 5%
위메프 4% , 티몬 3% , 카카오 3% , SSG 닷컴 2%
4
변경 구조?
AWS , MSA 구조
5
채용과 블로그
롯데on 링크드인에서 채용 중
기술 블로그 https://techblog.lotteon.com/
기업 블로그 https://story.lotteon.com/
<2> 롯데 e커머스 클라우드 전환 여정
1
IDC 운영 문제점?
이벤트 및 대량 트래픽 수용 어려움
시스템 도입 및 구축 시간 필요
시스템 노후 투자비용 - 선투자
인프라 관리의 어려움
2
모놀리식 구조 문제점?
느린 개발 속도, 지속 배포의 어려움
확장성 제약
안정성 이슈
기술 채택의 장벽
3
전환?
클라우드로 전환
MSA로 전환
4
MSA 효과?
지속적인 배포 가능
유연한 확장성
높은 안정성
높은 유지관리성, 테스트 편의성
Time to Market 실현이 핵심.
<3> 오픈 후 배운 점
오픈 후 장애, 서비스 이슈로 배운 점
빅뱅 방식이 아닌 점진적인 MSA로 전환 - 3건 진행. 조금 무모했다. 영향도, 리스크 충분히 고려.
사용 기술 스택의 완벽한 이해 - 기술 내재화가 되어 있어야 함. 내부에서 컨트롤이 안되면 장애 발생. 내부에서 컨트롤할 수 있는 기술로 전환함.
서킷 브레이커 패턴? - MSA라도 하나가 장애면 전체 장애 문제가 발생
카오스 엔지니어링 - 시스템 장애 발생 시 어떤 부분인지 미리 알고 있어야 한다. 카오스 엔지니어링을 통해 지속적으로 개선이 필요하다.
모니터링 및 경고 중앙화 - 분석 및 추적 - 다양한 서비스라, 이슈 발생 시 추적하고 분석이 어렵다. 용이하게 할 수 있는 체계가 있어야 한다.
<4> 비용 관리는 어떻게 하고 있나?
초기
프로젝트 마지막에 다양한 이슈 발생 - 리소스 추가로 비용 발생함.
성능 테스트 미진으로 최적화 진행 - 40% 절감.
비즈니스 성장으로 비용 조금씩 증가
<5> 과다 비용 문제점
오버 사이징
비용 통제를 위한 거버넌스 , 프로세스 부재
비용 분석과 최적화를 담당하는 담당자 부재
디테일한 분석을 위한 리소스 태깅 미흡
비용 인식 문화 미흡
비용 분석이나 리포팅을 할 수 있는 툴 미흡
<6> 비용 최적화 과정 - 자원 최적화
사용량 분석 -트러스트 어드바이저, 컴퓨트 옵티마이저, 클라우드 와치 , 내부 모니터링 설루션을 통한 분석 진행
리소스 Right Sizing
미사용 리소스 삭제
리소스 스케줄링 - 개발 서버 등 주말 , 야간에 중지 , AWS 스케쥴링 적용함.
Spot적용
S3 버저님, 티어링 - 수 페타 바이트 최적화 필요. 대용량 분석 어려움. 작은 파일이 많다. 복구 가능한 건 버저닝 오브젝트 끄고, 티어링 함 , 오브젝트 수 감소시킴.
Auto Scaling - EKS node, pot 최적화.
아키텍처 최적화 - 주기적으로 진행, 많은 아이디어 도출 , 각 개발팀 , 구축했던 분들 조사함. 프라이빗 링크로 데이터 비용 줄임. CF 클라이언트 캐시, 카프카 , ETL 최적화,
EC2를 컨테이너화, 디비 통합 , 데이터 라이프사이클 , 애플리케이션에 대한 구조 개선함.
<7> 비용 최적화 과정 - 할인/계약 비용 분석
1
6가지?
사용량 분석
RI/SP 커버리지로 80~90% , 사용량 100% 주 단위로 지표 관리 , Cost explorer로 실시간 관리함.
CFR - CDN 약정 계약. 연단 위로 사용량 계약 - 70% 할인
EDP - 대량 구매 , 장기 , S3에 대한 약정 계약이 있다!!! ( S3는 대량의 용량이어야 할인이 가능함으로 확인 필요)
리소스 태그
비용 분석 시스템 구축 , 오픈
2
비용 최적화는 주기적으로 진행 필요
일단위, 주 단위, 월 단위, 분기 단위, 연단 위 , 필요시 비용 최적화 진행.
일단위 - 자체 구축한 시스템 , 태깅 없으면 알람이 온다.
주 단위 - RI /SP , 미사용 리소스 제거, 맞는 사이즈
월 단위 - 기술 협의체를 통해 아키텍처 리뷰/개선 , 전원 대비 비용 분석 , 데이터 라이프 사이클링 - 자동화 삭제.
분기 단위 - 전사 단위로 다양한 캠페인, 관련 팀장, 임원에 리뷰 진행
연단 위 - RI/ SP , EDP , CFRC , S3
// RI /SP는 1~2달 지켜본 후 적용한다.
<8> 비용 최적화로 배운 것?
비용 통제 거버넌스(프로세스) , 프레임 워크가 있어야 한다.
비용을 최적화하는 비용 전담 담당자가 있어야 한다.
주기적인 비용 분석 및 지표 관리
전사 IT부서의 비용 인식 문화 - 실시간 비용을 관리하는 시스템 구축이 필요하다.
투명한 정보 제공
<10> 개인 정리
실무자가 배울 부분이 많은 세션~~
오픈 후 배운 점 - 미리 준비 하자
과다 비용 문제점
비용 최적화 과정 - 할인/계약 비용 분석
비용 최적화 과정 - 자원 최적화
비용 최적화로 배운 점 - 미리 준비 하자
다음
https://brunch.co.kr/@topasvga/2642
