AI 서비스의 실용화가 어려운 이유
기술적 관점에서 AI 툴이나 서비스의 실용화가 어려운 주요 이유는 다음과 같다.
데이터 부족
기술 인력 부족
인프라 부족AI
모델의 복잡성
소프트웨어 및 하드웨어 호환성
AI 모델의 일반화 문제
그 중, 가장 큰 문제가 AI 모델의 일반화 문제인데, 이는 기술적 관점에서 볼 때, 모델이 훈련 데이터셋에만 과도하게 적합되어 실제 환경에서 다양한 상황에 대응하지 못하는 현상을 의미한다.
흔히 발견되는 일반화 문제들
데이터 전처리의 오류: 데이터 전처리 과정에서 발생하는 오류는 모델의 일반화 능력에 큰 영향을 미칠 수 있다. 예를 들어, 텍스트 데이터를 처리할 때 토큰화나 정규화 과정에서 발생한 오류는 모델이 잘못된 정보를 학습하게 만들 수 있다.
모델 아키텍처의 복잡성: 너무 복잡한 모델 아키텍처는 과적합(overfitting)을 초래할 수 있다. 과적합된 모델은 훈련 데이터에는 높은 성능을 보이지만, 새로운 데이터나 상황에 대해서는 일반화 능력이 떨어진다.
하이퍼파라미터 최적화의 한계: 모델의 하이퍼파라미터를 최적화하는 과정에서 특정 데이터셋에 과도하게 적합된 설정을 선택할 수 있다. 이는 모델의 일반화 능력을 저하시키는 주요 원인이 될 수 있다.
이러한 문제는 코드 구현 과정과 백엔드 처리 과정에서 다양한 형태로 나타날 수 있으며, RAG(Retrieval-Augmented Generation)와 같은 기술을 통해 해결하려는 시도가 이루어지고 있다.
그래서 RAG 모델을 도입하여 일반화 문제 해결을 시도한다.
그러나..?
RAG(Retrieval-Augmented Generation) 모델은 검색 기반의 생성 모델로, 모델의 일반화 능력을 향상시키기 위해 설계되었다. RAG 모델은 다음과 같은 방식으로 일반화 문제에 접근한다.
사용자의 질문 → RAG는 사용자가 직접 업로드한 데이터베이스에서 검색 → LLM이 답변을 생성
RAG 모델의 실제 예시로는 Research - AI at Meta(META AI)의 'DPR(Dense Passage Retrieval)'이 있다. DPR은 텍스트 질의에 대한 답변을 생성하기 위해, 관련된 문서를 검색하고 이를 기반으로 답변을 생성하는 RAG 모델이다. 이 모델은 오픈도메인 질의응답(Question Answering) 시스템에서 사용되며, 다양한 상황에 대해 폭넓게 대응할 수 있는 능력을 보여준다. 그러나 모델의 일반화 능력을 향상시키기 위해서는 데이터 전처리, 모델 아키텍처, 하이퍼파라미터 최적화 등의 과정에서 세심한 주의가 필요하다. DPR에 대한 자세한 내용은 여기에서 확인할 수 있음.
한국은 역시 빠르다. KB국민카드는 고객 서비스 챗봇에 RAG 모델을 도입하여 고객 문의에 대한 보다 정확하고 개인화된 답변을 제공하고 있다. KB국민카드는 LLM에 RAG를 통합한 챗봇 솔루션 ‘BELLA QNA’ 챗봇을 도입하였는데, 사용자의 의도를 파악하고 다양한 정보 소스를 참조하여 맞춤화된 답변을 생성할 수 있는 검색 기능을 사용한다. KB국민카드는 매일같이 변경되고, 동시에 수백 건에 달하는 이벤트 문서를 관리해야 하는 운영 부담을 지목했기 때문에 이러한 문제를 해결할 수 있는 BELLA QNA를 지체 없이 도입할 수 있었다. 즉, 프로젝트의 방향성을 명확히 하고 기업이 원하는 요구와 목표를 미리 정의하는 것이 중요한 것이다. (출처: Skelter Labs | 스켈터랩스)
AI는 편하고 좋고 멋져보이고 다들하니까? 결국 사용하는 사람은 소비자
일본의 로봇 공학자 모리 마사히로(森政弘)는 '인간을 닮은 로봇-휴머노이드'에 대한 사람들의 반응을 연구하며 흥미로운 발견을 했다. 그는 로봇이 인간과 비슷한 정도가 증가할수록 사람들의 호감도가 먼저 증가하다가 일정 수준을 넘어서면 갑자기 떨어지고, 로봇이 인간과 거의 구분할 수 없을 정도로 닮게 되면 다시 호감도가 상승한다는 '불쾌한 골짜기(Uncanny Valley)' 현상을 설명했다. 이 개념은 심리학자 옌치와 프로이트의 연구에서 비롯되었으며, 신기술의 패러다임에 있어 다양한 형태로 논의되고 있다.
불쾌한 골짜기(uncanny vally) 이론은 이제 AI 영역에도 적용된다최근 MBN은 김주하 앵커를 AI로 구현한 "AI 뉴스 앵커"를 소개했다. AI 앵커는 김주하 앵커의 외모와 목소리를 모방하여 자기소개와 뉴스를 진행했다. 김주하 앵커가 AI라는 것을 알아차린 시청자들의 반응은 "신기하다"를 너머, 화면에서 느껴지는 "어색함", "이질감", "공포", "불신" 등으로 요약됬다. 이러한 AI 앵커의 등장은 인공지능 기술이 '불쾌한 골짜기' 단계에 접근하고 있음을 시사한다. 물론, AI 뉴스가 활성화되면 방송사는 비용 절감 효과를 볼 수 있을 것이며, 향후 방송 화면에 'AI 뉴스' 또는 'AI 뉴스 아님'이라는 안내 자막이 반드시 표시되야 할 것이다.
지금 보시는 이 사람은 김주하 앵커가 아닌, 김주하 AI 앵커다그렇기 때문에, AI 서비스의 실용화는 어렵다. 소스 콘텐츠의 질이 높을수록 AI는 더 정확하고 유익한 답변을 제공할 수 있다. 반대로 소스 콘텐츠의 품질이 낮으면(혹은 높더라도), 그 결과로 생성되는 AI의 답변도 기대에 못 미칠 가능성이 높다. AI가 때때로 정확하지 않거나 현실과 동떨어진 정보를 제멋대로 만들어내는 '할루시네이션' 현상을 최소화하는 것이 불쾌한 골짜기를 탈출하는 방법이다.
결국, 본질은 AI로 만든 아웃풋을 소비자가 사용할 때, 즉, 사용자 경험과 거부감이 매우 중요한 요소가 된다. 사용자가 AI 생성물을 자연스럽고 유용하게 느끼지 않는다면, 그 기술의 실용성이 크게 떨어질 수 있다. 따라서 AI 개발자와 디자이너는 사용자 친화적인 인터페이스, 직관적인 상호작용 및 사용자의 기대에 부합하는 결과물을 제공해야하며, 사용자의 거부감을 최소화하고, 긍정적인 사용 경험을 제공하는 것이 필요하다.
