by
Oct 10. 2024
생체인식? GPT-4가 더 탁월하다?
DeepFace보다 GPT-4의 안면인식이 뛰어나지만, 보안위협은 커져
최근 기술 발전의 흐름 속에서 대형 언어 모델(LLM)과 생체 인식 기술의 융합이 눈에 띄는 진전을 이루고 있습니다. 이 두 기술의 결합은 다양한 산업에서 유망한 가능성을 보여주고 있으며, 특히 금융과 보안, 의료 분야에서 두각을 나타내고 있죠. LLM은 방대한 데이터 학습을 바탕으로 얼굴, 음성, 행동 패턴 등을 분석해 사용자를 인식하고 예측하는 데 있어 뛰어난 성능을 발휘합니다. 즉, 기존의 홍채나 안면 인식이 아닌 복합 수단을 이용한 LLM 기반의 생체 인식 기술도 등장할 가능성이 높아졌고, 유망한 시장으로 예측되고 있어요.
그러나 이러한 기술 발전은 그 이점만큼이나 심각한 개인정보 보호와 보안 문제를 초래할 수 있습니다. 특히 대한민국에서 활성화된 비대면 금융 거래에서 생체 인식과 LLM의 결합이 잘못 악용될 경우, 금융 사기와 신원 도용이 빈번해질 위험이 큽니다. 이 글에서는 LLM과 생체 인식 기술의 장점과 가능성, 그리고 이를 둘러싼 개인정보 보호 및 보안 문제를 다뤄보려고 해요.
LLM과 생체 인식의 장점, 너무 정확하다!
LLM의 강력한 성능은 기존 생체 인식 기술에 비해 몇 가지 중요한 이점을 제공합니다. 단순히 정확도에만 집중하면 생체 인식 기술의 전환점을 LLM이 제공하고 있고, LLM 기반의 서비스 확대가 기대되는 것은 아래와 같은 여러 이유 때문이죠.
① 기존 생체인식보다 높은 정확도
기존 생체 인식 시스템은 주로 정교한 알고리즘을 기반으로 동작하지만, LLM의 도입은 이러한 기술의 정확도를 한 단계 더 끌어올렸습니다. 예를 들어, OpenAI의 GPT-4와 같은 모델은 DeepFace나 FaceNet과 같은 전통적인 생체 인식 시스템보다 더 뛰어난 성능을 보여주었습니다. GPT-4는 얼굴 인식뿐만 아니라 나이, 성별, 감정 상태까지도 정확히 예측할 수 있습니다. 이는 금융 거래에서 신원 확인의 정확도를 높여, 부정 접근이나 사기 행위를 방지하는 데 기여할 수 있습니다.
LFW 등 데이터세트 학습이 없어도, GPT-4는 정확한 안면인식을 해내는 성능을 보입니다. (IEEE)특히, 성별 인식 테스트에서 GPT-4는 5,400개의 균형 잡힌 이미지 데이터 세트에서 완벽한 100% 정확도를 달성했습니다. 이 결과는 이 작업을 위해 특별히 설계되었으며 99%의 정확도를 기록한 DeepFace 모델을 능가했습니다. 특히, 해외에서 연구된 안면인식 모델의 큰 문제점은 어린 아이와 노년층에 대한 이미지 분류가 매우 취약하다는 점이고, 거기에 더해 아시아 인종에 대해서는 인식률이 매우 좋지 않습니다. 그런데 GPT-4는 아시아 여성 노인을 정확히 여성으로 인지하는 반면, DeepFace는 잘못 인지하는 결과물을 보여줍니다. 이미 안면인식의 전문 모델보다 LLM의 성능기대치가 훨씬 탁월하고, 발전 가능성도 높다는 거죠.
DeepFace는 틀렸지만, GPT-4는 정확한 안면 인식으로 기존 문제 해결 (IEEE)② 사용자 경험의 향상
대외 미디어나 키오스크, 사이니지 관련 상품기획자로 일했던 적이 있는데요. 당시에 매장내의 CCTV와 카메라를 이용해서 고객들의 동선을 분석하는 서비스를 만들기도 했습니다. 그 때, 매장 입구에 커다란 사이니지와 카메라를 결합해, 특정 고객이 매장에 입장할 때 "OOO 고객님, 몇 번째 방문이시군요. 지난 번에 관심있게 보셨던 OOO 제품이 재입고 되었으니 확인해 보세요."라면서 제품의 위치를 표시해주자는 아이디어를 개발자 분이 냈던 적이 있습니다. 저는 결사 반대했는데, 이유는 '정말 끔찍한 경험'이 될 거고, "It's going to be an absolutely horrifying experience."라고 얘기해줬습니다.
LLM이나 AI, 제 3의 눈이 나를 관찰하고 있다는 경험은 매우 두려운 일이고, 그런 정보 수집은 Seamless 하면서도 고객에게 직접적으로 알려지면 안됩니다. (물론 동의도 얻어야겠죠?) 그러니, 그것보다는 자연스럽게 매장 직원이 다가가서, "무엇을 도와드릴까요? (하지만 난 이미 고객님에 대해 다 알고 있다는 자신감 있는 표정과 함께)"라고 하는 것이 더 좋은 방향이라고 이야기 했죠. 스타벅스에도 휘황찬란한 사이니지나, Geo-fence와 블루투스 기반의 스마트폰 주문이 싫다기에 이런 제안을 했어야 했지만.. (아오! 하지만, 결국 사이렌오더를 도입하고 사단이 났다.)
여튼, 생체 인식 기술과 LLM을 결합하면 사용자 경험을 크게 개선할 수 있습니다. 예를 들어, 은행 앱에서 얼굴이나 음성 인식으로 비대면으로 신원을 인증하는 과정이 더욱 매끄러워질 수 있습니다. LLM은 고객과의 상호작용을 통해 사용자의 습관을 학습하고, 이를 바탕으로 사용자에게 개인 맞춤형 서비스를 제공할 수 있습니다. 이는 은행뿐만 아니라 공공 서비스, 헬스케어, 교육 등 다양한 분야에 적용될 수 있습니다. 특히, 리테일 분야에서 큰 혁신을 이뤄낼 수 있습니다.
2023년 개봉한 Mars Express라는 미래 SF 애니메이션에서는 주인공이 '금주'를 하겠다고 설정해두면, 술을 주문하더라도 생체정보를 인식해서 '금주모드'인 것이 표시되며 술을 따를 수 없도록 하는 장면이 나옵니다. 생체인식 기술은 생각보다 우리가 활용할 수 있는 가능성이 매우 높고, LLM과 연결하면 미성년자 신분증 확인이 필요없는 시대가 올 수도 있죠.
금주 취향을 저장해두면, 술병의 스마트마개가 술이 못나오게 막는 미래 (IMDB)③ 사기 방지 및 보안 강화
LLM 기반 생체 인식 기술은 보안이 중요한 상황에서 사기 방지를 위한 혁신적인 도구가 될 수 있습니다. 금융 거래, 온라인 결제, 비대면 계약 등의 상황에서 생체 정보를 바탕으로 사용자의 신원을 실시간으로 확인하고, 의심스러운 패턴이나 사기 시도를 감지하여 자동으로 경고할 수 있습니다. 즉, 생체 인식 정보와 MFA 등을 이용해 이미 인증된 사용자라 하더라도, 기존의 사용패턴과 다르거나 불필요한 금융 거래나 시도가 이뤄질 경우 이것을 신속하게 사전 차단하는 것이 가능합니다. 이미 이 부분에 대한 연구가 수없이 이뤄졌지만 완벽하게 성공한 사례는 없지만, 만약 가능하다면 LLM이 이것을 이뤄낼 가능성이 높죠.
이미, 당근마켓에서도 전문 거래업자들의 비정상적인 중고 고래, 고가의 제품인 것처럼 오픈 마켓에 허위 가격을 올려둔 다음에 당근마켓 이용자에게 저렴하게 파는 듯 하는 사기 행위를 포함한 어뷰징(Abusing)을 단속하기 위해 LLM을 활용하기 시작했습니다. 기존에 보이지 않던 패턴을 발견하는데, 매우 유용하다는 것을 이번 당근테크 밋업 2024에서 발표하기도 했죠. 서울에서 결제한지 1시간 만에, 부산에서 결제하더라는 기존의 카드 사고에 대해 발견해 내던, 단순한 패턴 분석을 넘어섰습니다.
유사 컨텐츠를 배경색만 바꿔서 올리면 못잡던 것도 이젠 잡는다. (천재윤/당근테크 밋업 2024)전문 업자들인 이미지를 배경을 합성해서 바꾼다거나, 텍스트로 분석하는 것 같으니 제품 사진에 텍스트를 넣거나, 좌우를 바꾸는 등의 편법으로 이것을 피해왔지만 LLM은 이미지의 컨텍스트를 기반으로 분석하므로 사람보다 훨씬 뛰어나고, 대량의 데이터 분석도 가능한 장점이 있습니다.
생체 인식 뛰어나도, LLM의 보안 문제는 심각하다.
그러나 LLM과 생체 인식 기술의 융합은 심각한 보안 취약성을 내포하고 있습니다. 이 기술들은 악의적인 목적으로 악용될 가능성도 존재하며, 특히 대한민국의 비대면 금융 거래에서는 더욱 심각한 문제를 야기할 수 있습니다.
LLM은 다양한 프롬프트와 데이터를 학습하여 예기치 않은 방식으로 동작할 수 있습니다. 예를 들어, 특정 입력이나 맥락을 통해 LLM이 원래 의도한 보호 장치를 우회하도록 만들 수 있다는 연구 결과가 있습니다. 이러한 취약성은 해커들이 LLM 기반 생체 인식 시스템을 우회해 사용자의 신원을 도용하거나 금융 사기에 이용할 수 있는 가능성을 제시합니다. 특히 금융 거래에서 사용되는 얼굴 인식 시스템에서 이러한 보안 취약점이 발생할 경우, 악의적인 사용자들이 생체 정보를 조작하여 접근 권한을 탈취할 수 있습니다.
특히, ChatGPT는 이미 엄청난 해킹 기술이 아니더라도 시스템 프롬프트를 출력하거나, 실행되지 않도록 되어있는 기능을 프롬프트만으로 수행하도록 할 수 있는 취약점이 존재합니다.
GPT-4는 생체인식 프롬프트를 실행하지 않지만, 우회 방법이 무궁무진하다. (IEEE)대한민국에서는 비대면 금융 거래가 매우 활성화되어 있어, 이런 LLM의 보안취약점이 큰 문제를 일으킬 수 있어요. 은행 계좌 개설, 대출 신청, 주식 거래 등 다양한 금융 서비스가 온라인에서 이루어지고 있으며, 생체 인식을 활용한 인증 절차가 늘어나고 있습니다. 하지만, 생체 인식 기술과 LLM의 결합이 악용될 경우, 해커가 개인의 얼굴이나 음성 데이터를 조작하여 금융 시스템에 부정하게 접근할 수 있습니다.
이러한 문제는 특히 DeepFake 기술과 결합될 때 더욱 심각해집니다. DeepFake는 실시간으로 사람의 얼굴을 변조하거나 가상 인물을 생성하여 다른 사람으로 가장할 수 있으며, 이를 LLM과 함께 사용하면 훨씬 더 정교한 사기 행위가 가능해집니다. 이런 방식으로 생성된 가짜 생체 정보는 비대면 금융 거래에서 신원을 확인하는 과정에서 실제 사용자로 인식될 수 있습니다. 생체정보를 기반으로 실시간으로 고개를 돌린다거나 하는 DeepFake 툴이 많아졌기 때문에, 신원정보와 생체정보가 노출되면 금융사건 사고는 엄청나게 늘어날 수 있습니다.
DeepFake 기술은 생체 인식 기술과 결합될 경우, 금융 사기를 일으키는 데 악용될 수 있습니다. 2020년, 한 기업의 CEO가 DeepFake로 조작된 음성으로 속아 수십만 달러의 자금을 사기당한 사건이 보고된 바 있습니다. 이는 LLM과 생체 인식 기술이 결합된 시스템이 신원을 확인하는 데 실패할 경우, 얼마나 심각한 문제가 발생할 수 있는지를 보여주는 사례입니다.
가장 중요한 것, 생체정보는 유출되면 되돌릴 수 없다.
생체 인식과 LLM의 결합은 개인정보 보호 측면에서도 심각한 우려를 제기합니다. 생체 정보는 한 번 유출되면 되돌릴 수 없기 때문에, 보안이 매우 중요한 분야입니다. 그러나 LLM이 포함된 시스템은 개인의 데이터를 학습하고 처리하는 과정에서 민감한 정보가 외부로 노출될 가능성이 큽니다.
생체 인식 기술은 사용자의 얼굴, 음성, 지문 등의 데이터를 수집하여 학습합니다. LLM은 이 데이터를 바탕으로 학습하고 추론하는 데 사용될 수 있는데, 이 과정에서 데이터가 충분히 보호되지 않으면 개인정보 유출이나 프라이버시 침해로 이어질 수 있습니다. 특히 대한민국과 같은 국가에서는 개인정보 보호법이 엄격하지만, LLM 시스템은 이러한 법적 규제를 우회하여 대규모 데이터를 처리하는 능력을 가지고 있습니다.
OpenAI의 Be My Eyes 서비스는 시각 장애인을 돕기 위해 개발된 앱으로, 사용자에게 시각 정보를 설명해주는 기능을 제공하지만, 얼굴 인식과 같은 생체 인식 기능은 비활성화되었습니다. 이는 개인정보 보호와 관련된 윤리적 문제로 인해, 얼굴이나 사람의 감정을 잘못 해석할 위험이 있기 때문입니다. 이 사례는 LLM 기반의 생체 인식 기술이 적절한 윤리적, 법적 제약을 따르지 않으면 큰 문제를 일으킬 수 있음을 보여줍니다.
생체 인식과 LLM 기술의 결합은 다양한 분야에서 혁신을 가져올 수 있는 잠재력이 큽니다. 그러나 개인정보 보호와 보안 문제를 해결하지 못한다면, 그 기술적 진보는 악용될 가능성이 큽니다. 특히, 대한민국의 비대면 금융 거래에서 생체 인식 기술이 악용될 경우, 심각한 신원 도용 및 금융 사기로 이어질 수 있습니다.
엠지, 엠지가 없어도 한 번 유출되면 끝이 세상이 옵니다. (영화 '황해' / YouTube)