brunch

매거진 일상AI

라이킷 14 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 글쓰는몽글c Dec 12. 2020

거짓, 가짜, 그리고 AI

거짓리뷰와 제한된 게시글을 탐지하고 가짜를 신고하는 인공지능

#17.

거짓, 가짜, 그리고 AI

인공지능이 활용되는 분야별로 대표성을 띈 사례들을 차근차근, 꾸준히 정리해보려 한다.

이번 글에서는 인공지능을 활용하여 거짓리뷰와 제한된 게시글들을 탐지하고, 가짜 상품들을 찾아내여 신고까지 하는 인공지능의 사례들을 살펴보고자 한다.

거짓 리뷰를 찾아내어 차단하는 배민의 클린리뷰시스템

스마트폰의 등장, 모바일 앱 사용자의 증가, 그리고 코로나19로 인한 온라인 쇼핑의 증가 등 시대는 점점 더 오프라인이 아닌 온라인에서의 생활과 거래가 더 자연스러워 지도록 변화를 유도하고 있다.

특히 코로나19로 인한 외출의 감소와 집안에서의 생활시간의 증가는 배달의 민족과 같은 배달 서비스 트래픽의 폭발적인 증가로 이어지고 있다.

배달의 민족의 경우 거짓 리뷰를 우선적으로 찾아내는데 인공지능 알고리즘을 사용하고 있다고 한다. 플랫폼 내 리뷰조작을 통해 수익을 챙겨왔던 업체들을 근절시키기 위한 조치이며, 이를 위해서 리뷰를 우선적으로 받은 후 내부 필터링을 통해 선별하여 리뷰를 노출하게 된다.

이를 클린 리뷰시스템이라고 부르는데 기존에 가짜음식 사진을 걸러내거나 비속어를 필터링하는 수준에서 한 단계 더 나아가 허위리뷰로 의심되는 글을 탐지하게 되면 해당 시스템이 바로 탐지를 하여 임시적으로 블라인드 처리를 하게 된다. 그리고 24시간 내 저검토를 통해서 리뷰를 공개하거나 차단을 하게 된다고 한다. 데이터셋 자체는 그동안 배민 가맹점주로 신고받은 신고내역과 사내에서 찾아내었던 거짓 리뷰들을 취합하여 마련을 했고 이 내역들을 토대로 훈련하고 테스트를 통해 시스템을 구축하게 되었다.

pain point:
가맹점주들이 좋은 리뷰를 받기 위해 만들어 내는 거짓 리뷰들이 존재 (전문 대행업자들 또한 존재)
solution:
거짓 리뷰들을 찾아내어 데이터셋으로 만들고 패턴을 인지한 후 24시간안에 거짓 리뷰를 판단하여 노출하는 시스템의 마련

제한된 게시글을 찾아내어 걸러내는 당근마켓의 인공지능

코로나19로 인해 오프라인 거래가 줄어들고 있는 현재 지역 직거래 기반으로 핫하게 성장하고 있는 당근마켓 또한 게시글을 필터링하는데 인공지능을 활용하고 있다. 당근마켓은 반려동물, 주류, 짝퉁과 같은 거래 금지품목이 존재하는데, 이를 AI 모니터링 시스템으로 걸러내고 있다고 한다. 미리 정해둔 키워드로 우선 필터링을 하고 인공지능이 이미지를 분석하여 확인한다고 한다.

당근마켓 역시 이런 시스템을 만들기위해 게시글 신고기능으로 모인 글들을 데이터셋으로 활용하였으며 해당 데이터셋을 텐서플로우를 활용하여 분류모델을 만들었다고 한다.

기존의 시스템의 경우 신고가 들어온 글을 해당 팀에 있는 사람들이 인간지능으로 한땀한땀 검수하여 걸러내었지만 이제는 AI가 걸러낸 문제가 있는 글들만 다시 검수하면 되는 상황이라 훨씬 효울적인 작업을 할 수 있을 것이다. 해당 알고리즘을 만드는데 있어 일반 게시글이 스팸성 게시글로 걸러지지 않도록 하는 것이 중요할 수 있기 때문에 아마도 정밀도(precision)가 더 중요했을 것이다.

하지만 얼마 전 당근마켓에서 아이입양에 대한 게시글이 올라와 뉴스에서 한참 화제가 된 적이 있었다. 이러한 게시글 또한 인공지능이 필터링을 해주었어야 하지만, 중간에서 그 역할을 하지 못했고, 해당 글을 본 사용자들이 신고를 통해 직접적으로 게시글을 내리게 되었다. 왜 인공지능은 이 글을 미리 알지 못했을까? 아마도 아이얼굴에 해당하는 이미지나 아기 입양이라는 맥락의 텍스트를 사전에 학습하지 못했기 때문일 것이다.

하지만 이러한 시행착오를 통해 또 한단계 발전하는 AI가 되지 않을까 하는 생각또한 해본다.

Pain Point:
기존에 게시글을 하나하나 검토하는데 많은 인력이 필요하며 시간이 오래걸림
Solution:
인공지능을 활용하여 신고게시글의 패턴을 분석하고 인공지능 게시글의 적정성을 검토하여 사람이 검토해야 하는 게시글의 양을 줄여주도록 함

가짜를 선별하여 브랜드의 지적재산권을 보호해주는 마크비전

이처럼 거짓 리뷰, 제한된 게시글들을 인공지능을 활용하여 찾아내고, 실제 사람의 운영의 공수를 줄이려는 고민은 업체마다 다양하게 시도 되고 있다. 워낙에 모바일 쇼핑, 리뷰 등 거래가 일어나는 서비스들이 많이 생겨나면서 실제 진품과 가품을 구별해내는 솔루션을 제공하는 스타트업들도 등장을 했는데, AI를 활용하여 수백만 건의 이미지와 텍스트를 학습하여 사람의 게시글 필터링 운영공수를 줄여준다.

특히 '마크비전'이라는 스타트업이 눈에 띄었는데, 해당 기업은 본사가 하버드 이노베이션랩에 있으며 서울에 지점을 두고 사업을 진행하고 있으며 '마크비전'이라는 솔루션(사명과 솔루션 명이 이름이 같은 듯)은 현재 타오바오, 티몰, 알리익스프레스, 이베이, 아마존, 쇼피 등 국내외의 이커머스 사이트에서 활용이 되고 있다고 한다. (대표가 맥킨지, 하버드 로스쿨 출신 한국사람이다)

해당 솔루션은 실시간 모니터링, 신속한 제고, 퍼포먼스 측정 단계로 나뉘게 되는데 탐색시점에서 진품의 이미지와 텍스트를 학습한 인공지능이 이커머스 파이트를 24시간 탐색을하게 되고 가품을 찾게 되는 경우 해당 대시보드에 내용들을 리포트한다고 한다.

이미지 출처: 마크비전 사이트

위 마이비전 사이트에서의 이미지 처럼, AI알고리즘은 위조상품을 모니터링하고, BOT은 위조상품을 즉시 제거하며, 관련 모니터링을 위한 리포트를 별도로 생성해준다.

물론 해당 솔루션을 이용하는 관리자는 탐색, 분석 단계에서 함께 모니터링을 하고 신고절차를 수행하게 된다. 하지만 앞단에서 하나하나 눈으로 보아가며 수동으로 가품을 찾는 기존 반복적인 작업을 줄여주는 것 만으로도 관리자(사람)은 더 중요한 업무에 집중하고 작업의 질을 높일 수 있게 된다.

Pain Point:
기존 이커머스 사이트에서는 가품을 찾아내는데 사람이 반복적인 업무를 비효율적으로 진행
Solution:
인공지능을 활용하여 기존 진품의 이미지와 텍스트를 학습하여 동일한 제품들을 비교, 가품을 찾아냄으로써 관리자의 반복적인 업무를 줄여주고 불필요한 가품 항목의 신고와 제거를 유도

#이미지인식알고리즘 #머신러닝데이터분석알고리즘 #로봇신고프로세스자동화

거짓과 가짜, 그리고 인공지능에 대한 사례들을 몇 가지 살펴보았다. 코로나 이후 온라인 거래가 폭발적으로 늘어난 지금 이러한 기능들은 이커머스, 온라인 배달업체, 거래업체 등에서 매우 중요한 기술이 될 것이라 생각한다. 인공지능의 역할이 자동화(Automation)와 증강화(Augmentation)에 있다고 생각하였을 때, 거짓과 가짜를 탐지해내는 이 기술은 기존의 반복적인 수동작업을 인공지능이 대신 하여 사람들의 업무의 질을 높여주는 자동화(Automation)에 더 가깝다고 생각되어진다. 이러한 반복작업을 줄여주는 자동화는 사람들의 일자리를 뺏는 다기 보다는 사람들의 업무의 질을 더 높여주는 역할이 될 것이다.

Reference

https://www.etnews.com/20201120000096

http://www.hani.co.kr/arti/economy/it/934843.html

https://www.asiae.co.kr/article/2020100909364363569

http://www.womancs.co.kr/news/articleView.html?idxno=64491

https://www.edaily.co.kr/news/read?newsId=02407526625935544&mediaCodeNo=257

https://medium.com/daangn/%EB%8B%B9%EA%B7%BC%EB%A7%88%EC%BC%93%EC%97%90%EC%84%9C-%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0-3b48844eba62

https://www.mk.co.kr/news/it/view/2020/07/718079

http://it.chosun.com/site/data/html_dir/2020/08/13/2020081303375.html

https://www.marqvision.com/kr/about-us

https://www.marqvision.com/kr/home?gclid=CjwKCAiAn7L-BRBbEiwAl9UtkMHbqe1OjUsMS4h_Z-_IXMK2eCFFzl_ctMUWlqdeejSfQD3iYrgTtBoC4NYQAvD_BwE

http://www.seouleconews.com/news/articleView.html?idxno=56995