brunch

라이킷 8 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 패쓰파인더 Apr 10. 2022

경찰과 AI-1

경찰 데이터에 AI를 접목하는 쟁점

AI(인공 지능)의 쟁점

AI(인공지능) 기술은 무엇일까? 실용적 의미의 설명은 ‘데이터를 탐색해서 사용자가 원하는 값으로 최적화시키는 기술’이라 말할 수 있다. 응용 분야는 전문가 시스템(지식 추천), 데이터 마이닝, 패턴인식, 자연어 처리, 영상, 음성 처리 등이다. 각 요소(글자, 영상, 음성)를 인식하는 기술, 분석하고 판단하는 기술, 이런 전반의 과정을 처리할 수 있게 하는 도구까지를 모두 인공지능 시스템이라고 말한다.

AI에 대한 높은 기대와 착시가 있다. 뭐든 다 해결할 수 있을 것 같지만 그렇지 않다. 기술보다 데이터가 중요하고, 최신 기술보다는 자기 분야에 맞는 최적화가 중요하다. AI가 잘 구현되기 위해서는 AI를 활용할 수 있는 체제를 잘 갖춰야 한다. 갖춰야 할 체제에서 AI는 극히 일부이다. 아래 그림은 기계학습(Machine Learning)이라는 인공지 능 기술을 적용하기 위해 갖춰야 할 요소다. 기계학습 기술은 극히 일부이고, 이를 둘러싼 인프라(H/W, S/W), 데이터 수집-분석-절차 관리, 운영 등을 갖춰야 한다

이런 기술 체제를 잘 이해하지 못하면 성급한 기대와 실망, 자원 투입의 실패로 이어질 수 있다. AI 분석 기술이 한번 개발해서 설치하면 끝나는 일이 아니라, 끊임없이 실제 데이터에 적용하면서 시행착오를 줄여가고 정확도를 높여가는 과정이다. 아래 그림은 그 과정을 설명한 것이다. 예측 기술을 만들면 데이터에 적용하고 검증하는 과정을 반복하면서 성능을 높여가야 한다. 한 번에 완성되는 일은 없다. 계속 반복하는 과정이다.

예측모델 개발을 위한 모델 성능 개선 과정

경찰 활동에 AI를 접목한다는 것은, ‘실제 데이터에 적용하며 전체 체제를 정비·개편하고, 성능을 개선하는 노력을 직접 한다’는 것이다. 그동안 경찰 AI R&D의 시행착오는 그 과정을 외부에 맡겼기 때문이기도 한다.

우리 센터 김희두 연구팀장이 개발한 전화사기 범죄사실 분석 모델은 실제 전화사기 범죄사실 데이터를 통해 찾고자 하는 사칭명, 계좌번호, 전화번호 등 키워드를 찾아주는 기술이다. 이런 선명한 기술이 경찰 수사 정보화 시스템에 적용해 있길 바라지만, 차이가 있다. 경찰관들마다 은행명, 계좌번호 등을 작성하는 방식이 다르다. '농협', '농협중앙회', '농협 협동조합', 'NH농협'다양하다. 번호를 쓰는 망식도, 누군가는 '-'를 쓰고, 누군가는 쓰지 않는다. 이런 자유도 때문에 정보화 시스템을 고도화하는 민간 업체가 샘플데이터만으로 개발했을 때 원하는 성능이 나오지 않는다. 실제로 우리 센터 개발한 기술로 '웰컴 투 저축은행'을 사칭한 사건을 최근 5년 간 경찰 범죄사실에서 검색하면 30여 건이 넘게 나오는데, 경찰의 수사정보시스템에서는 훨씬 적은 사례만 찾을 수 있다.

웰컴 투 저축은행에서 7% 금리를 빌려주겠다고 사칭한 사건 검색 결과

찾고 있는 사건과 유사한 사건을 찾아내는 기술 개발 사례도 있었는데 실용화하기 어려웠다. 2016~2018년까지 민간기관이 경찰 수사 데이터를 활용해 유사 사건 검색 기술을 만들었다. 트레이닝 데이터셋을 기준으로 80%가 넘는 정확도로 과제는 마무리되었지만, 실제 수사에 사용하긴 어려웠다. 실제 범인이 저지른 사건을 다른 사건과 섞어서 키워드를 검색하자, 100개의 사건 리스트 중에서 동일범의 사건은 50위권, 80위권으로 추천한 것이다.

이 연구 결과는 몇 가지 시사점을 준다. 첫째 범죄사실과 같은 내밀한 데이터는 실제 데이터를 직접 볼 수 있는 경찰관들이 개발 모델을 적용하면서 성능을 조정해야 한다는 것이다. 둘째 자유도가 높은 데이터를 통해 무엇을 찾아내고 싶은 것인지 알아내기 위해서는 목표하는 '실체'에 주목해야 한다는 것이다. 위 경찰청 R&D의 산출물은 '가장 비슷하게 작성한 범죄사실 문서'를 찾아내는 것이지, '실제 같은 범인이 저지른 사건'을 찾는 것이 아니었기 때문에 어쩌면 당연한 결과였다.

경찰이 직접 AI를 연구하는 역량을 키워야 하고, 더 많은 데이터를 가지고 실제 현상을 파악할 수 있는 높은 수준의 AI를 추구해야 한다는 것이다. 이런 문제의식에 따라 우리 센터는 최근 주목받는 '초거대 AI'에 주목하고 있다.

keyword