brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Jul 19. 2023

18. AWS-통신 및 미디어-플로 AWS All-in

독자?

클라우드로 마이그레이션 하려는 회사의 경우 도움이 된다.

하나하나 이전하는 방법이 설명된다.

개인적으로 사전에 이런 부분들이 정리되고 인지 된 후  마이그레이션이 진행되면 이슈는 덜 할 것 같다.



<1> 클라우드는 기업의 경쟁력을 강화하는 요소이다.

<2> 전환 후 성과  3가지?

<3> 비용 절감

<4> AWS로 마이그레이션

<5> 서버접근 제어, 자산 관리 시스템 구축

<6> 이전 체크 포인트

<7> 서비스 안정화  2가지 진행



<1> 클라우드는 기업의 경쟁력을 강화하는 요소이다.


1

클라우드로 전체 서비스를 마이그레이션함.

드림어스 컴퍼니

SK 스퀘어의 자회사.


2

4개 사업?

플랫폼 - FLO 서비스

유통

공연

디바이스- 아이리버



3

매출 2744억


4

하이브리드 클라우드로 운영 중


AWS 추천, 정산 = EMR 사용.

클라우드로 개발 및 운영 리소스  줄어듦.


추천 서비스 개발에 집중할 수 있었다.



<2> 전환 후 성과  3가지?


1

IT리소스 효율화

Time to Market

콘텐츠 입수 관리 자동화로 비즈니스 개선




2

출퇴근시간에 늘어나는 트래픽


대응?

AWS   오토스케일링 서비스운영 -  300대로 늘림.

60대로 평소 운영.

idc에서는 피크타임 기준으로 서버 300대 구매 필요함.


3

개발, QA서버는 업무시간에만 사용하도록 진행함.


4

신규 서비스 출시 기간 단축.

서비스 리드 타임 단축 (35% 서비스 리드 다임 단축)

신규서비스 오디오 오픈 플랫폼 오픈

누구나 크리에이터가 되어 수익화하는 서비스




5

입수 파이프라인 최적화?

미디어 컨버터, 서버리스 구성.

용량제한, 하드웨어 관리이슈 없어짐. 



6

입수 파이프라인. 아키텍처?

음원은 XML 포맷으로 입수를 받음  - 다양한  비트레이트로 트랜스 코딩.

팟 캐스터 -   RSS로 입수를 받아 서비스함.

트랜스 코딩된 음원은  디렉트 커넥트를 통해 SKB CDN에서 서비스함.




<3> 비용 절감


1

온프라미스 그대로  이전으로는  비용 절감이 안된다.



2

AWS TAM 지원.



3

오픈 후 50% 비용 절감 진행함.

S3 IA 사용 진행 예정

EMR 최적화 진행 예정




<4> AWS로 마이그레이션


1

IDC -> AWS로 모두 이전

6시간 다운으로 이전함.

7개월 준비해 이전함.



2

클라우드 설계 기준?

용도별 계정 분리 

환경별 네트워크 분리

신속성

정책과 프로세스

내재화함.

관제 서비스는 받고 있음.



3

환경별 네트워크 분리



4

젠킨스 -  Jenkins agent 


이후  IaC로  변경 진행 중





<5>  서버접근 제어, 자산 관리 시스템 구축


1

AWS이전 후  인프라 관리 도구 필요?

서버 접근 제어 구축

자산 관리 시스템 구축 



2

사용자 접근 이력 기록 관리함.



3

ci/cd?


MSA

Ec2기반의 컨테이너 사용 중

깃허브

빌드는  젠킨스 사용

이미지를  저장하기 위해  하버 사용

배포는 코드 디플로이 사용함.

빌드배포 시스템을 자체적으로 만들어 개발팀에 제공함.


AWS 코드디플로이는 EC2대상으로  카나리 배포지원되지 않음.

ELB의 가중치 기반으로 카나리 배포를 제공함.



4

로그 수집/분석?


fluentbit 사용

카프카 사용.

s3 적재함.

EMR의  프레스토로 확인함.

데이터 독에 에러로그 모니터링함.



5

모니터링?

메트릭 비트 통해 수집함.

Burrow/Prometheus , 그라파나 사용.

추가적으로 센트리를 사용한다.

슬랙이나 관제 서비스로 연락받음.




<6> 이전 체크 포인트


1

이전 리허설이 도움이 되었다.


2

디비 전환?

몽고 디비 사용 중

Mysql 사용 중



3

개발, QA 검증함.

검증을 위한 디비 클러스터 만듦

마이그레이션 디비를 만들어 동기화함.



4

NAS 데이터를 온프라미스에서 AWS로 이전?

rsync  = 단일 프로세스는 속도가 안 나옴.

xargs ,  screen 활용



5

redis 데이터 업로드?

reds-stak  및 screen 활용



6

DNS 전환.




<7> 서비스 안정화  2가지 진행


1

2가지?

모니터링 중  이슈 처리 진행

비용 절감 진행 - 오토 스케일링, 불필요 자원 정리, 서버 자원 최적화 반복적 수행.  그라비톤 구입으로 진행.



2

배운 점?

kafka 및 ElasticSearch는 직접 또는 매니지드 서비스 이용

직접 구축 시  az 간 비용 발생

매니지드는 az 간 비용 발생하지 않음.


ec2는 ena 네트워크 제한됨. -  Cloud watch 통한 지원이 추가되어 모니터링 가능.



다음 자료

https://brunch.co.kr/@topasvga/3378


감사합니다.





브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari