더 안전한 금융거래를 지원하는‘AI 스미싱 문자 확인’
<<Tech Ethics 16호>>
스미싱(Smishing)은 휴대폰 문자메시지(SMS)나 SNS로 가족이나 지인, 정부 기관을 사칭해 개인정보를 탈취해 2차 피해를 입히는 범죄입니다. 최근에는 청첩장, 부고, 택배, 배송, 환급금 안내를 흉내내는 등 수법도 점점 고도화되고 있습니다. 규제 당국의 자료에 따르면 '24년 하반기 스팸 메시지 건수는 상반기 대비 2배 가량 증가했습니다. 경찰청은 최근 2년간 스미싱 피해액이 600억 원에 달할 것으로 분석하기도 했습니다.
스미싱은 단순한 개인 정보 유출이나 소액 사기와 달리 불법 대출을 비롯한 금융 사기와도 연관이 많아 카카오뱅크에서는 AI로 이를 예방할 수 있는 방안을 고민해 왔습니다. 이번 ≪Tech Ethics 16호≫에서는 금융소비자의 자산을 위협하는 스미싱으로부터 고객을 보호하기 위해 카카오뱅크가 AI를 활용해 개발한 기술을 소개해 드리려고 합니다.
스미싱 판별 이유도 설명하는 AI 기반 ‘스미싱 탐지 서비스’
카카오뱅크가 이번 서비스를 개발하면서 가장 중점을 둔 부분은 특정 메시지를 스미싱으로 판단하게 된 이유를 한 번 더 자세히 알려주는 기능입니다. 단순히 스미싱 여부만 판별할 경우 이용자가 선뜻 신뢰하기 어렵기에, 덧붙인 판단 근거로 이해도를 높여 해당 정보를 신뢰할지 스스로 결정할 수 있도록 도움을 주고자 했습니다. 최근 생성형 AI 모델들은 사용자 의도를 잘 파악하면서 정보 출처와 이유도 자세히 찾아주고 있어서 신뢰도 높은 판단 근거 생성에 사용해 볼 수 있었기 때문입니다.
카카오뱅크는 단순히 LLM (Large Language Model)을 도입하는데 그치지 않고 정확하게 스미싱 문자를 판별하고 그 이유를 자세히 설명하도록 개발 방향성을 설정했습니다. 필요한 기능을 구현하기 위해 특정 메시지를 스팸으로 판단한 이유가 적절한지에 대해 다방면으로 방법을 검토했습니다.
효율적 LLM 최적화로 스미싱 탐지 고도화
스미싱 탐지의 핵심인 자체 LLM은 성능 향상과 비용 절감을 모두 달성할 수 있는 LLM 최적화(Adaptation)를 통해 개발되었습니다. 이 과정에서는 월간활성이용자수(MAU) 1,800만 명이 넘는 카카오뱅크 앱 환경에 맞게 수준 높은 성능뿐만 아니라, 효율적인 자원 관리와 빠른 서비스 응답속도를 확보해야 했습니다. 이를 위해 한국어에 능통한 LLM을 선택 후, 자체 데이터로 핵심 파라미터를 선별해 업데이트 하는 효율적인 접근법(Efficient Fine-tuning)을 시도했습니다.
효율적인 스미싱 탐지를 위한 LLM 최적화 과정
초기 학습 데이터는 크라우드 소싱, 구매, 직접 수집 등 여러 방법을 병행해서 구축했으며 과적합(Overfitting)을 유발하는 유사 데이터는 제거해서 정제했습니다. 메시지를 스미싱으로 판단하는 근거는 스미싱의 정의, 원리, 예시, 예방 방법 등을 상세하게 담은 지시문을 별도 LLM에 프롬프트로 입력하여 생성하도록 하는 Pseudo Labeling(준지도 학습:Semi-supervised learning)을 위한 세부 기법 중 하나로, 레이블이 없는 데이터에 대해 모델이 예측한 결과를 마치 실제 레이블인 것처럼 활용하여 모델을 다시 학습시키는 방법)을 수행했습니다. LLM 파라미터 업데이트는 4비트로 모델을 경량화 한 상태에서, 주요 연산 모듈(Attention) 일부 레이어에 매우 적은 양의 추가 파라미터를 학습하는 방식을 적용했습니다.
스미싱 탐지와 판단 근거 제공을 성공적으로 평가하기 위해서는 예측 결과물에 대한 다방면 검증과 보완이 가장 중요했습니다. 이에 따라 정탐과 오탐을 동시에 고려할 뿐만 아니라, 판단 근거 적절성을 평가하기 위해 다방면의 지표를 통해 성능을 검증했습니다.
일반적으로 알려진 유사도 기법(두 개의 데이터 포인트 간의 유사성을 측정하는 방법. 주로 자연어 처리 분야에서 사용되며, 텍스트 요약 및 번역 품질을 평가하는 데 활용됨. BLEU, ROUGE, BertScore 등의 기법이 있음)을 활용하여 생성된 문장을 정답 문장과 비교하여 평가했습니다. 이외에도 논리성, 일관성, 유용성, 형식 준수 등을 구체적으로 정의하고 외부 LLM으로 수치화하는 절차도 추가했습니다. 자동화된 평가 수치를 보완하기 위하여 평가자 2명이 직접 정성평가를 수행하고, 평가결과의 신뢰성을 담보하기 위하여 평가결과 일치여부를 검증하였습니다.
카카오뱅크는 고품질 데이터 확보, 평가 방법 정의 및 Fine-tuning를 바탕으로 스미싱 탐지와 판단 근거 생성까지 가능한 LLM을 완성하였습니다. 자체적인 정량평가와 정성평가에 따르면 카카오뱅크가 이번 서비스에 개발한 모델의 성능은 GPT-4와 GPT-4o의 탐지 정확도를 능가할 뿐만 아니라 환각 증세로 인한 판단 근거 오류는 현저하게 적은 수준을 달성했습니다.
지속적인 학습과 개선으로 발전시킨 스미싱 대응 기술
이렇게 자체적으로 면밀한 과정을 거쳐 LLM을 완성했지만, 이용자가 불편함 없이 완벽하게 서비스를 이용하기 위해서는 더 많은 준비와 노력이 필요했습니다. 안정적이면서도 수준 높은 서비스 품질을 만족시키기 위한 준비 과정 중 미리 예상하지 못한 점들과 추가적으로 고민하고 해결해야 할 기술적 난제에 직면하기도 했습니다.
연구와 서비스 개발이 진행되는 기간 중 새롭게 등장하는 스미싱 유형에 대응하는 것도 이러한 대표적 난제 중 하나였습니다. 신규 스미싱 메시지는 생활과 밀접한 내용의 문자를 일부 변형하는 등 교묘한 수법을 활용하여 속이려는 의도를 탐지하기 어렵게 발전했습니다. 2023년부터 유행하기 시작한 부고장과 청첩장 스미싱은 내용 특성상 가족과 지인들에게 재전송을 유도해 더 많은 피해를 일으킨 사례도 있었습니다. 올해에는 메신저 ID를 언급하며 외국인이나 관광객을 사칭하는 문자들이 갑자기 급증해서 학습 데이터에 신속히 반영하기도 했습니다. 이처럼 형태가 진화하는 트렌드가 반영될 수 있게 최신 사례 수집과 데이터 축적을 꾸준히 해야했습니다.
탐지 정확도를 보완하는 과정에서 정상적인 광고성 문자와 불법 스팸 문자(불특정 다수에 대량으로 전송되는 메시지)를 구분이 중요해졌습니다. 특히, 광고 문자는 정상적인 마케팅 활동을 포함하고 있어서 유형과 범위가 훨씬 다양했습니다. 반면, 명확한 수신 동의 없이 무차별하게 전송되는 악성 스팸 문자는 비합법적인 내용을 포함하고 있는 경우가 많기 때문에 스미싱과 유해도가 비슷하다고 볼 수 있습니다. 이러한 상황을 반영해 고객에게 더 유익한 서비스가 될 수 있도록, 탐지 대상에 불법 스팸 문자를 포함시켜 스미싱 범위를 재정의했습니다.
그 밖에 악의적이거나 문자 메시지 범주에 해당하지 않는 내용(욕설, 폭언 등)이 유입되었을 때 입력을 필터링하는 조치가 필요했습니다. 필터링은 별도의 금칙어 탐지 API를 통해 수행하였으며, 이에 해당하는 경우 미리 지정된 형태의 답변이 제공되도록 했습니다. 최신 문자 유형과 사기 수법을 수집해 수시로 모델을 재학습했고, 스미싱을 정상으로 오탐하는 경우를 최소화하는 방향으로 정확도를 지속적으로 개선하고자 하였습니다.
사용자 편의성과 규제 준수를 동시에 고려한 서비스 개발
카카오뱅크의 모든 대고객 서비스는 금융 서비스이기에 편리함뿐만 아니라 관련 규제를 세심하게 지켜야 했습니다. 그중에서도 개인정보보호와 관련된 지침을 우선 준수했습니다. 초기 기획 단계에서 사용자의 편리함을 고려하여 수신한 모든 문자에 대해 자동적으로 스미싱 여부를 알려주는 방향으로 논의되었습니다. 하지만 개인정보를 보호하기 위한 안전 지침들을 수용하여 사용자가 직접 복사 및 붙여넣기 하는 방식으로 기획안을 수정했습니다. 금융 AI 서비스 구현 과정은 성능 및 편의성 만족과 고객 권리를 모두 충족하기 위해 반복 검증을 거쳐야만 했습니다.
최종 인터페이스도 고객 보호를 위한 규제와 원칙을 준수하여 구성했습니다. 먼저, 고객이 제공하는 정보에 대한 권리를 보장하고 이를 보호하는 것을 최우선으로 했습니다. 이를 위해 이용자가 카카오뱅크 앱에서 ‘AI 스미싱 문자 확인’ 서비스를 처음 사용할 때 모델학습 활용 여부를 바로 고지하고 선택할 수 있게 했습니다. 또한, 모든 안내 메시지는 사용자 경험(UX)을 반영해 친숙하고 쉬운 문체로 가다듬었습니다.
이후에도 서비스 출시 직전까지 최신 데이터 확보, 파라미터 탐색을 통한 성능 개선과 서비스 안정화를 위한 작업을 진행했습니다 내부 테스트에서 임직원들로부터 다양한 유형의 문자를 제보받았고, 이를 데이터 보강 작업에 활용하였습니다. Fine-tuning에서는 적합한 파라미터 조합을 찾기 위해 셀 수 없이 많은 실험을 수행했고 모델의 예측값을 조합하여 사용했습니다. 또한, 후처리 과정을 통해 최종 생성된 답변 품질을 높이면서 복수 모델을 활용한 유량 제어로 안정적인 TPS(Transactions Per Second) 수준의 서비스를 제공하고자 노력했습니다. 이러한 시행착오를 반복하면서 최적의 해법들을 찾아낸 끝에 ‘AI 스미싱 문자 확인 서비스’는 완성될 수 있었습니다.
스미싱 유형은 계속해서 변화하기 때문에 ‘AI 스미싱 문자 확인’ 서비스 출시 이후에도 지속적인 관리와 업데이트가 필요합니다. 카카오뱅크 AI 기술을 책임지고 있는 안현철 최고연구개발책임자(CRDO)는 “앞으로도 사용자가 편리하면서도 안전한 금융생활을 누리는 데 도움이 될 수 있는 AI 서비스 개발 노력을 지속하겠다.”고 강조했습니다.
