6탄-3. 스마일게이트 게임플랫폼 ‘스토브’ 결제 탐지
스마일게이트의 게임 플랫폼 스토브에 도입된 결제 사기 탐지 서비스 알아보자
기계 학습을 사용해 구축한 사례임
<1> 스마일게이트는 글로벌 게임을 만들고 유통하는 회사.
<2> 게임 결제 사기 유형?
<3> 결제 사기 탐지 서비스는 구축 타임 라인?
<4> 데이터 작업 준비 흐름?
<5> 피처 엔지니어링
<6> 차단 방법?
<7> Amazon Fraud Detector
<8> Amazon SageMaker로 좀 더 자세하게 관리
<9> AutoGluon이라는 Auto ML 도구
<10> 스마일게이트의 모델 훈련 진행은?
<11> 실제 사기 결제가 줄었는지 효과 분석
<20> 개인 정리
<1> 스마일게이트는 글로벌 게임을 만들고 유통하는 회사.
1
대표 게임?
1인칭 슈팅 게임인 크로스 파이어
MMORPG 로스트 아크
전략시뮬 모바일 에픽 세픽
2
그룹?
지주사인 스마일게이트 홀딩스
게임을 개발하는 엔터테인먼트, RPG법인
퍼블리싱 법인인 메가포트 법인
게임 플랫폼을 담당하는 스토브 법인, 개발 조직, 인프라 조직
3
스토브 플랫폼?
유저가 게임을 실행할 수 있는 런처와 유저를 식별하기 위한 인증, 아이템 구매를 위한 빌링, 유저 간 공략 공유를 위한 커뮤니티 서비스를 제공한다.
4
스토브 플랫폼의 빌링 영역에서 발생한 사기 결제를 AI/ML을 이용하여 해결한 과정을 소개
<2> 게임 결제 사기 유형?
1
스미싱으로 개인정보를 탈취
개인정보로 스토브에 가입해 계정을 생성
이 계정으로 게임 재화를 대략 구매 후 아이템 거래 사이트에서 현금화합니다.
나중에 피해자가 카드 명세서 등을 통해 계정 도용을 인지하고 결제 취소나 환불 요청을 하게 되면서 게임사와 피해자가 금전적, 시간적 손실을 입게 된다.
2
문자를 이용해 가족/친구 사칭
개인정보 요구
이런 정보로 타입의 계정과 결제 수단으로 아이템을 구매하게 된다.
3
결제 사기 탐지 시스템 성과?
65%의 사기 결제 차단 효과
게임 결제 증가하면서 , 사기 결제도 증가하는 상태였음.
<3> 결제 사기 탐지 서비스는 구축 타임 라인?
1
구축 경과
2020년 7월 머신러닝 기반 사기 결제 검풀 Poc에서 Amazon Fraud Detector를 적용해서 검출 효과를 확인함.
21년 1월 게임 데이터 기반의 사용자 정의 모델링을 시작 (6개월 간 모델링함)
사기 탐지 예측 점수를 분석하여 500점 이상 결제 차단을 결정하고 9월부터 사기 결제 차단 서비스를 론칭함
65%의 사기 결제 차단 효과
FDS검출 효과 분석
현재는 80% 차단 목표로 고도화 진행 중
2
라벨링으로 해결?
탈취된 계정의 모든 결제를 라벨링 (높은 차단율) - 시간에 따라 사기 결재의 전후가 확인된다.
사기 신고된 결제만 라벨링 (보통)
6
게임 사기 탐지에 해당하는 데이터의 특성이 있다.?
최신성 : 신규 계정 , 과거 트랜잭션 대비 현재 트랜잭션의 차이
빈도수 : 특정 기간에 집중적으로, 1분에 10건
돈 액수 : 돈 액수가 과거보다 다른 유저보다 변화가 큼
극소 소의 사기 데이터 - 정상과 사기 심한 데이터의 불균형이 발생한다.
<4> 데이터 작업 준비 흐름?
1
유저 프로필, 결제, 게임 데이터를 하나의 키로 결합해서 단일 데이터 세트로 만든다. 데이터 결합
데이터 샘플링
데이터 필터링
데이터 클렌징 작업
2
사기 결제 건수는 정상 결제 건수의 0.01%이다. 10,000건 중 1건이다.
<5> 피처 엔지니어링
데이터 분석 결과를 기계 학습 알고리즘이 이해할 수 있도록 데이터를 넣어 줘야 한다.
이를 피처 엔지니어링이라고 한다.
피처 엔지니어링 기법?
사기 탐지만의 특별한 피처 엔지니어링 기술이 존재함.
1
RFM 피처?
최신성, 빈도성, 돈의 규모
2
Match/Comparison 피처?
예로 빌링 주소와 배송 주소의 일치 여부
3
피처 풍부화?
IP 안에 국가, 도시, 인터넷 제공회사 VPN 사용 여부의 정보를 가지고 있다.
// 스토브는 실시간 피처 생성기를 만들었다.
<6> 차단 방법?
1
기존 차단 방법?
룰 기반과 기계 학습 기반을 합친 하이브리드를 권장한다.
룰 기반 - 블랙리스트, 사용자 리스트로 처리
기계 학습 장점 - 통 계정 패턴을 감지, 사기 변형을 처리 가능, 탐지 못하는 것/ 탐지 오류를 조정 가능
<7> Amazon Fraud Detector (AFD)
시작부터 끝까지 사기 탐지 서비스를 생성, 배포, 관리 및 확장하는데 필요한 것들이 포함되어 있다.
클라우드에서 필요할 때마다 즉시 사용할 수 있는 완전 관리형 서비스이다.
설루션 설계보다 문제 해결에 더 집중할 수 있다.
빠르게 사기 탐지 모델을 만들고 서비스에 적용할 수 있는 장점이 있다.
Amazon Fraud Detector 기능 4가지를 알아보자~
1
사전 구축된 사기 탐지 모델 템플릿이 존재한다.
이는 모델 템플릿에 피처 엔지니어링과 알고리즘이 결합된 형태입니다.
2
맞춤형 사기 탐지 모델 자동 생성
선택한 사기 탐지 모델 템플릿에 데이터를 제공하면 피처 엔지니어링, 알고리즘 선택, 모델 최적화를 하여 최적화된 된 모델이 자동 생성됨을 의미한다.
3
Amazon.com의 과거 사기 탐지 패턴을 모델 학습에 이용한다.
4
Amazon SageMaker의 사용자 정의 모델을 생성하여 사용할 수 있다.
이는 사용자가 직접 만든 모델 및 Amazon Fraud Detector의 모델과 결합하여 더욱더 정확도가 높은 사기 탐지를 가능하게 한다.
<8> Amazon SageMaker로 좀 더 자세하게 관리
좀 더 자세하게 관리하고 싶다면 Amazon SageMaker
Amazon SageMaker는 광범위한 ML플랫폼을 제공한다.
사용자가 커스터 마이징 할 수 있는 ML 플랫폼이다.
<9> AutoGluon이라는 Auto ML 도구
AutoGluon 은 AWS에서 구축한 오픈 소스 AotoML 도구 키트.
텍스트 , 이미지 및 테이블 형식 데이터에 대한 고정밀 머신 러닝 및 딥 러닝 모델을 학습하고 배포한다.
<10> 스마일게이트의 모델 훈련 진행은?
1
사기 결제가 처음 발견되고 , 머신 러닝 기반 검출 효과 증명 과정에서 Amazon Fraud Detector (AFD) 도입함
빌트인 알고리즘과 매니지드 서비스를 제공하여 별도 복잡한 시스템 구축 없이 머신러닝 기반의 검출 효과를 확인함.
2
지능적으로 진화하는 사기 결제를 막기 위해 커스터마이징 필요?
Amazon SageMaker , AutoGluon 도입
3
분석서 모델링 툴인 Amazon SageMaker
체계적인 데이터 분석과 다양한 알고리즘을 적용 , 데이터 과학자가 직접 사기 결제 검출 모델을 만들게 되었다.
4
AutoGluon 도입?
가중치를 줄 수 있다.
<11> 실제 사기 결제가 줄었는지 효과 분석
1
사기 결제 유저의 주문 번호가 스토브 고객센터를 통해 신고 들어온 사기 결제 인지 확인했고,
검출 모델이 그 사기 결제를 제대로 인지하고 차단했는지 주문 번호를 매칭 한 결과 65%의 사기 결제 검출을 확인함.
2
차단을 적용한 결제 수단인 신용카드와 휴대폰 소액 결제 사기는 줄었다.
차단하지 않는 계좌 이체로 사기가 증가함.
3
테스트 데이터와 실제 데이터에 따라 검출률이 달라진다.
확인하자.
4
빠르게 실험하고 디버깅해서 빠르게 확인할 수 있어야 한다.
어려운 이론보다 다양한 구현을 실무에 적용하기를 권장한다.
5
AWS SA , ML Special List SA의 도움이 컸다.
<20> 개인 정리
1
Amazon Fraud Detector (AFD) 사용해보자.
2
지능적으로 진화하는 사기 결제를 막기 위해 커스터마이징이 필요하다.
Amazon SageMaker , AutoGluon를 추가로 도입해 사용해 보자.
3
어려운 이론보다 다양한 구현을 실무에 적용하기를 권장한다.
https://brunch.co.kr/@topasvga/2439
감사합니다.
