Amex Digital Labs 설립 (내부 채용, 디지털랩 임원=Amex 근무 13년)
200명 규모의 클라우드 아키텍트, 데이터 사이언 디스트, 모바일 인프라 전문가
애플 페이, 구글 페이, 삼성 페이와 파트너십
젊은 층 가입자 수 67% 증가
카드 사용량 10배 이상 증가
Speed!
Time to Market
30개국에 3개월 내 애플리케이션 출시
데이터 분석 기반 마련해 고객 경험 향상 , 회사들은 이미 클라우드 사용 중이다.
클라우드 서비스 활용
사내 IT인력을 적극 활용
애자일 개발 방법론 도입
전략적 파트너십 및 인수
2020년 10월 KBPay 출시 , AWS이용, 베스핀 글로벌이 MSP로 지원.
퍼블릭 클라우드를 활용한 최초 앱 기반 간편 결제
삼성, 카카오, 네이버 등 핀테크 기업의 공세
은행, 보험, 증권 전 계열사의 디지털 결제 연동, 초대형 프로젝트
7개월
MSA구성으로 쪼갬
디비도 최대한 목적에 맞게 쪼개어 구성함
관리형 DDOS보호를 위한 AWS제품 구성 - Shield Advanced, WAF, Config, CloudWatch, KSM, Trusted Advisor, IAM , Athena, Cloud Trail
AWS 3rd Party 보안 시스템 구성 - 차세대 방화벽을 위한 Palo Alto 등 보안 설루션
정보 보안 심의 위원회 대응, 금융 보안원 안정성 평가, 금융 감독원 감사 지원
안정성 확보조치 방안을 수립 이행해야 한다.
새로운 클라우드 업무가 생길 때마다 반복적으로 수행해야 한다.
사전 준비단계는 이용대상 선정-> 중요도 평가-> 업무 연속성 확보-> 안정성 확보조치
안정성 확보 조치가 인프라 작업. 랜딩존으로 많은 부분이 커버가 가능하다.
로깅 등 수작업, 네트워크 연결 수작업 등 필요
로깅 활성화(Config, CloudTrail, VPC Flow logs)
내부 시스템과 연동 (Direct Connect, VPN 연결)
내부 표준 S/W에 대한 방화벽 (OS/MW/DB, 보안 등)
라우팅 테이블 설정 (VPC 통신 등 라우팅 설정 작업)
Core - IAM Account
Core - Logging Account
Core - Security Account
Core - Shared Account ( Active Directory , ADFS , Route53 Resolver)
운영 VPC
개발 VPC
AVM 통한 계정 생성
서비스 카탈로그 선택
Security Services - KMS , GuardDuty, Shield , WAF
3rd Party Solutions - 접근 제어 , 서버 접근 제어, 디비 접근제어 , 기타 보안 설루션 , 서버 백신 , 취약점 점검.
데이터 기반의 의사결정 체계 확보를 위해 데이터 분석 플랫폼 구축
ETL, Kinesis를 통해 수집, S3 Data Lake에 저장, Glue로 변환, 오픈 서치로 검색
분석가를 위한 포털 제공으로 세이즈 메이커를 샌드박스 형태로 서비스를 제공함.
클라우드 기반 AI디지털 컨택센터 구축 진행 중
AI기반 상담 자동화
80여 대 가상 서버로 구축됨
온프레미스에 데이터 보유.
기존 애플리케이션 사용도 필요함.
서비스의 다양성
글로벌 서비스를 위한 지원
컴퓨트, 네트워크. 디비의 서비스 품질
금융 클라우드 가이드라인 준수
마이 그레이셔 및 서비스 문제 해결 경험
AWS 서울 리전과 전용선 연결해서 사용
AWS SSO 사용하여 정책 기반의 멀티 계정 사용
IDP를 사내 인사 DB와 연동하여 기존 사내 ID로 접속, 퇴직 시 자동으로 권한 제거됨
IAM은 SSO, Account 설정된다.
쿠버 네티스 클러스터는 메트릭 서버, 프로메테우스 설정된다.
관리는 VPC Flow logs, CloudTrail, Config가 설정된다.
네트워크는 VPC, Transit Gateway, Security Group, Routing Table도 생성된다.
모두 자동으로 구성해준다.
테라폼 사용
VM뿐만 아니라 컨테이너도 배포 가능한 Spinnaker CD툴 사용
변경 관리 시스템 구축, Gitlab과 연동을 통해 승인을 통해서만 배포가 가능함
블랙 덕을 Gitlab가 연동하여 오픈소스 정책에 부합하는지 확인한다.
보안 취약점이 없는 라이브러리만 사용하도록 Nexus를 통한 사설 레파지토리 구축
엔드 투 엔드 보안 - DDOS, F/W, IPS, WAF 설치하여 보안체계 갖춤
서버는 서버 접근제어를 통해서만 접근 가능
취약점 탐지 CWPP PROSMA구축
컴플라이 엔스 Audit으로 CSPM Paloalto 구축
아웃포스트 도입을 위해서는 사전에 AWS와 테크니컬 검증이 필요하다.
디스크 디가우징 후 반출
기간계 시스템과 연계 중요. 기간계 시스템 담당자와 협의체 구성이 필요함.
하이브리드 클라우드는 각 분야 전문가 투입과 팀워크가 필요함
RDS MySQL 사용
DB 접근 제어는 마켓플레이스에서 구매해 사용한다.
CloudTrail로 접근 로그를 관리한다.
VPC와 AWS에서 제공하는 서비스 간은 VPC Endpoint 사용한다. S3엔드포인트
데이터 센터와의 연결 방법은 Site-To-Site VPN 연결
멀티 VPC 간, 온프레미스 연동은 Trainsit Gateway사용. CloudWatch로 모니터링
카메라로 촬영한 원본 영상
물리 장비인 엘리멘탈 라이브 장비로 송출한다.
영상을 압축하여 미디어 커넥터로 전달한다.
미디어 라이브에서는 여러 해상도에 맞게 트랜스 코딩을 한다.
미디어 패키지와 같은 오리진 서버로 전달되어 서비스된다.
미디어 테일러를 통해 서버 사이트 광고 삽입 후 서비스되기도 한다. 라이브 방송 예시
양방향 소통 중시하는 대화형 라이브 방송에 적합한 인터렉티브 비디오 서비스
스트리밍 데이터가 유입되면, 멀티 레이트로 트랜스코딩
HTTP스트링 형태로 패키 징하여 CDN을 통해 서비스된다.
사용자가 할 부분은 아마존으로 스트리밍 데이터를 송출하고, 채널을 관리한다.
타임드 메타데이터 API로 인터렉티브 한 서비스를 만들지 고민하면 된다.
구름이라는 기업
비대면 온라인 코딩 테스트 플랫폼에 부정행위를 예방하는 실시간 웹캠 모니터링.
모바일 라이브 비즈니스를 지원하는 SaaS형 설루션
촬영장비-파일 변환-미디어 파일 배포 및 캐싱-일반 사용자에게 전달
파일 변환-미디어 파일 배포 및 캐싱에 대해 라이브 라테에서 서비스한다.
어메이즈
주로 해외 서비스
아마존 인터렉티브 비디오 서비스에서 채널을 만들어 서비스한다.
Amazer에서 번역을 제공하는 영어 자막 제공한다.
초기 IVS를 이용하지 않고 직접 운영시 3가지 문제가 있었다.
비용 , 송출지역, 인터랙션 타이밍 3가지 문제
적은 시간과 비용으로 모바일 영상통화 서비스 만듦
한 번의 개발로 아이폰, 안드로이드 제공해야 해서 리 엑트 네이티브로 개발
백엔드는 다자간 영상통화 WebRTC, 실시간으로 호스팅 게임 서버, API 서버
API 서버는 HTTPS , 게임 서버 웹소켓 , WebRTC Server는 자체 RTP/RTCP로 통신한다.
WebRTC와 게임은 런타임 중에 사용 중이 부분이 쉽게 교체 불가 스테이트 풀한다.
API는 스테이트 레스 하다. EKS , 람다로 서비스 제공하고 있다.
모든 로그는 Airflow로 전 처리하여 테블러로 시각화한다.
Snowball Edge 활용한 로컬 콘텐츠의 클라우드 업로드
콘솔로 스노볼 에지 서비스 이용
NAS와 외장하드에 보관된 2T 콘텐츠에 대해 스노볼 에지 서비스로 이동
AWS S3버킷으로 업로드된다.
S3데이터를 기반으로 한 SM아키텍처
ECS사용 , AI 기술 스택이 대거 포함 예정
콘텐츠 관리를 위한 단일 콘솔로 메가존 CPM구성으로 콘텐츠 관리 예정
Vroong App
Vroong Pos
마이크로 서비스 EKS
Data Lake
빅데이터 처리 EMR
1차 이관 (리프트엔 쉬프트 방식으로 이전)
서비스 개발에서 운영까지 인력 충원에 문제
ElastiCache도입 , 로그 수집 플랫폼을 구축해 실시간 모니터링 구현함.
모놀리식 구조 한계 직면 - 마이크로 서비스 전환
오로라 Mysql 기본 사용- 최대 15개 Read 노트 추가를 통한 DB 조회
쿠폰, 할인은 다큐멘트 디비로 분리 , 상품 전시는 다이나모 디비로 분리
DynamoDB 및 ElasticCache 기반 CQRS도임
Push 트래픽 발생으로 서버 상품 조회 부하가 중가해도 장바구니에 담긴 물건의 결제는 정상적으로 진행
가장 많은 상품 전시를 오로라 Mysql에서 복제하여 다이나모 디비로 분리
통신채널로는 카프카로 처리함. 다이나모 디비에 적재함. 직접 조회 안 하게 됨.
딥러닝 기반의 추천 서비스가 효과가 있는지 검증이 필요
룰 기반의 ‘이 상품 어때요’ 부분 적용 테스트 진행함
사용자 상품 클릭을 카프카로 유입, 최근 클릭 이력을 다이나모 디비 저장
스튜디오가 아닌 매장에서도 진행
여러 브랜드와도 진행 가능
콘텐츠 생산이 가능하도록 자발적 크리에이터 획득과 육성
판매 수익 공유 , 제작 툴 제공
모바일 신체 측정 기술 , 22개 부위 실측.
AI 이미지 분석 스타일 추천
수집 , 수집된 데이터를 쉽게 분석할 수 있는 빅데이터 플랫폼 구축
고객들이 서비스의 어떤 기능을 좋아하는지 개선이 필요한 부분이 없는지 점검
다양한 쇼핑 애플리케이션을 운영
OOTD 추천 서비스
제휴 쇼핑몰을 통해 수집되는 쇼핑 콘텐츠 정보는 크롤러를 통해 DB에 적재
EMR을 통해 S3에 적재, 분석 및 가공을 통해 개인 DNA를 생성.
OCI는 화학 회사
수작업 비율이 높음
개선을 위해 대규모 투자가 필요한 상황
ERP 등 데이터는 중간 집계 DB구축(1시간에 1번 저장), DMS이용 S3에 저장됨
성능과 비용에 영향을 주어 중간에서 한번 정리
DMS는 변경된 내용을 다이나모 DB에서 확인하고 변경된 부분을 S3저장
Glue ETL 적용됨
생산 실적, 일단위 월 단위 보고
생산 실적 보고서
제품의 생산계획, 출하 실정, 공장 가동률, 가동 중지 내역을 집계 분석
생산 운전환경 개선과 문제 해결 시간을 가지게 됨
공정 데이터를 데일리 배치로 S3로 업로드
글루로 스키마 정의 , 아테나로 테이블을 구성한다.
세이즈 메이커의 빌드인 알고리즘을 이용해 모델을 만들어간다.
콘텐츠 프로바이더가 제공하는 HLS Live와 RTMP를 처리해야 했다.
최종적으로 스마트 TV 사용자에게 제공한다.
CloudFront와 미디어 테일러를 이용해 내재화하였다.
미디어 테일러를 사용해 광고를 삽입함
실시간 스트림을 위해서는 미디어 라이브를 사용했다.
실시간 영상 전송을 위한 RTMP를 받은 뒤 클라이언트에서 재생하도록 HLS로 함
5G 특화 서비스로 공연, 웹툰, 게임 등 3D 콘텐츠를 제공하고 있다.
더 나은 품질로 영상 화질 향상, 테이터 사용량 절감이 필요했다.
해결을 위해 뷰포트 스트리밍 기술 도입
디스플레이되는 뷰포트 부분은 높은 화질로 서비스하고 나머지는 낮은 화질로 서비스하는 것이다.
많은 서비스 상품이 존재한다.
뷰 포팅 트랜스 코딩을 위한 컴퓨팅으로 P3, C5인스턴스를 사용함.
대용량을 저장하는 임시 저장소로 S3를 사용함.
VOD CDN는 S3에 적합
라이브 CDN에서는 MediaStore가 적합
MediaStore는 캐슁 되어 있어서 라이브에서는 빠르게 전송이 가능하다
다수의 인스턴스가 A Zone에 구축하여, 특정 자원을 한 번에 생성이 안된다.
리소스 생성에 실패하는 경우가 있다. AZ-C로 이동해도 안된다.
ODCR서비스를 신청해 사용하자. 1시간~2시간 전에 미리 신청해야 한다.
구루미 화상 서비스 제공
쿠버 네티스 서비스
EKS 기반으로 운영
5G MEC + AWS Wavelength
5G MEC + AWS Outposts
배달의 민족 무인 배달 로봇
삼성전자 RCS메시징 서비스 아키텍처
EKS기반으로 전환함.
연결 기기수에 비례해 인프라가 확장되는 구조라 변경함
채팅 플러스 로그는 쿠버 네티스 환경이라 Fluentd로 수집한다.
Kinesis 스트림에 전달됨. S3에 로그가 저장됨.
덜 중요한 로그는 S3에 바로 저장함.
Node.js로 구성된 서버에서 각종 데이터를 수집해 디비에 적재한다.
데이터를 Kinesis나 직접 S3에 저장한다.
상품 데이터가 포함된 디비에서 Elasticsearch로 데이터를 동기화한다.
클라이언트에서 수집된 고객의 행동 데이터는 키네시스나 퍼스널라이즈에 적재
Amazon S3에 100TB 데이터 존재
외부 데이터(third-party 설루션사에서 받는다.)
내부 데이터(DB) – 데이터 레이크에 쌓고 있다.
사용자의 행동 데이터(log) – 주로 앱에서 발생한다. 유형이 방대하다
CLI로 실험 시작
CloudWatch로 이벤트 모니터링
Event Bridge로 자체 모니터링을 통합 가능.
쿠버 네티스는 테라폼을 이용해 인프라를 생성함.
테러 폼 코드는 Git으로 생성해 승인을 거친다.
개발자가 Github에 커밋하면 Circle-CI가 트리거 된다. 소스코드 빌드하고 테스트
도커 이미지가 ECR에 올라가고 보안 스캔됨. 핼름, Argo CD를 통해 배포
Pod의 네트워크 격리는 calico로 함.
중요한 정보는 kubeseal을 통해 암호화함.
모니터링은 데몬 셋을 사용. 스플렁크, 데이터 독으로 함.
여의도 더 현대 서울 언커먼 스토어(무인매장)
완전 관리형 서비스로 관리 최소화, 서비스별로 독립적인 데이터 베이스 사용
머신러닝을 위해 SageMaker , 각종 기기를 관리하기 위해 IoTCore
카메라로부터 영상 수집 키네시스 비디오 스트림, 로그 보관 다이나모 디비
이벤트는 최종적으로 다이나모 디비에 저장되어 확률 계산에 사용된다.