내 삶에 들어온 AI 프렌즈
씨줄과 날줄, 사유의 확장 17. 비전공자 IT지식, AI지식 part2
씨줄과 날줄, 사유의 확장 17. 비전공자를 위한 이해할 수 있는 IT지식, AI지식(AI 4부작 세 번째) part 2
(연관성이 있는 2권 이상의 책을 엮어 사유의 폭을 확장하는 이야깃거리를 전달하고자 합니다.)
[먼저 읽으면 좋은 글]
씨줄과 날줄, 사유의 확장 17. 비전공자를 위한 이해할 수 있는 IT지식, AI지식(AI 4부작 세 번째) part 1
헤이! 카카오
오케이! 구글
요즘 많은 집에서 기계로 된 집사가 열일하고 있다.
오늘 날씨도 알려주고, 듣고 싶은 노래도 틀어주며, 궁금한 게 생겼을 때 질문하면 알맞은 대답도 알려준다. 그런 생활에 익숙해져 의식하지 못하고 있지만, 이미 우리 일상의 많은 부분이 AI에 의해서 이루어지고 있다. 만약 이 AI 집사들이 파업을 선언한다면, 일상이 마비될 정도로 크게 의지하고 있다.
지금부터 우리 생활의 AI 동반자에 대해 알아보자.
AI 집사가 되기까지
지금의 인공지능은 알고리즘, 데이터, 시스템의 삼박자가 함께 어우러져 발전한 결과이다.
1980년대 들어 개발된 머신러닝(기계학습) 알고리즘은 컴퓨터가 데이터에서 스스로 규칙을 찾아낸다. 더구나 사람이 찾아내지 못하는 규칙도 컴퓨터가 학습을 거쳐 찾아낼 수 있게 되었다. 이렇게 하기 위해서는 많은 데이터가 필요한데 1990년대 인터넷, 2010년대 모바일 시대의 도래에 따른 '디지털화'가 이를 가능케 했다. 이제 우리는 영상을 보거나, 노래를 듣거나, 글을 읽는 등 많은 행위를 컴퓨터와 스마트폰을 이용해서 즐긴다. 전자기기 속 모든 정보는 '0과 1'의 비트로 변환가능하고, 그 모든 것들은 AI가 똑똑해지는데 필요한 '재료'가 된다. 방대한 양의 데이터는 막강한 힘을 가진다. 다양한 집단의 데이터가 많이 모이면 모일수록, 소수 전문가의 의견보다 더 정답에 가까운 결과를 얻어낼 수 있다. 하지만 이런 데이터를 빠르게 연산, 처리하기 위해서는 뛰어난 하드웨어 시스템이 필요하다. 이 문제를 해결해 준 것이 단순한 계산을 한꺼번에 대량으로 처리가능한 GPU(그래픽 처리장치)이다. 이렇게 머신러닝과 디지털 데이터, GPU의 만남은 우리 일상에 '의지할 수 있는 동반자'를 안겨주게 되었다.
스마트 스피커
출처: 포브스알렉사!
한때 미국에서 아기 이름으로 인기 있었던 알렉사가 작명순위에서 사라졌다. 그 시기는 아마존의 스마트 스피커가 인기를 끌기 시작하던 때와 일치한다. (하도 여기저기서 불러대니까)
스마트 스피커는 추가 기능 없이 딱 웨이크업 단어만 알아들을 수 있는 매우 조그만 음성인식 엔진이 내장되어 있다. 실제로 사람의 말을 알아듣는 과정은 음성을 녹음하여 서버로 보내 분석하는 과정이고, 사람에게 말을 하는 기능은 녹음된 음성을 서버에서 받아와 재생하는 것이다. 사실 '똑똑한 스피커'는 마이크가 달린 일종의 블루투스 스피커에 불과했던 것이다!
스마트 스피커가 말하는 과정
1. 사람이 질문하면 음성을 텍스트 문장으로 변환하고,
2. 문장을 이해한 다음에는 명령을 생성한다.
3. 명령으로 스킬을 실행한 다음에는 다시 문장을 만들어내고,
4. 마지막으로 음성을 합성하여 문장을 소리 내어 읽는다.
하지만 당연히 서버에 있는 AI까지 '깡통'인 건 아니다.
사실 소음 속에서 신호를 구별하고 적절한 문자로 이해하는 작업은 컴퓨터뿐만 아니라 인간에게도 쉽지 않은 일이다. 거기다 음성의 극단적인 유연함은 도저히 규칙으로 정리할 수 있는 것이 아니다. 그래서 AI는 규칙을 기반으로 하지 않고 데이터 통계기반 언어모델을 사용한다. 잘못 인식된 음성이 있다면 그동안의 학습 결과를 토대로 사용할 확률이 높은 단어로 보정한다. 그리고 누락된 정보가 있다면 채워주기까지 한다.(슬롯 필링) 따라서 학습한 데이터가 풍부한 스마트 스피커는 개떡같이 말해도 찰떡같이 알아듣는다.
물론 스마트 스피커는 아직 챗봇처럼 자유롭게 문장을 생성하지 못한다. 무엇보다 스마트 스피커는 문제해결용 대화시스템이기 때문에, 자유롭게 대화를 생성하지 않고 정해진 템플릿에 정보를 채워서 문장을 생성하는 방법을 주로 사용한다.
예) '현재 날씨는 00이고, 온도는 00도입니다.'
추천 알고리즘
출처: 해시넷오늘도 알 수 없는 알고리즘이 날 여기로 이끌었다
통계에 따르면, 유튜브에서 사람들이 보는 영상 중 70%는 알고리즘이 추천한 영상이라고 한다. 또 고객이 팔로우한 아티스트나 감상한 노래, 장르 등을 바탕으로 플레이리스트를 자동으로 생성해 주는 '데일리믹스' 기능은 스포티파이를 벗어날 수 없게 만든다. 넷플릭스에서 우리가 보는 영화는 또 어떠한가?
추천 시스템의 핵심은 쓰면 쓸수록 정교해진다는 데 있다. 데이터가 늘어나고 정보가 많아질수록 훨씬 더 정확한 추천이 가능해진다. 사람들의 기호에는 강한 연관성이 있기 때문에 정확한 추천은 만족도를 높이게 되고, 높은 만족도는 해당 플랫폼의 매출로 이어진다. 욕하며 끊는다 끊는다 하지만 오늘도 유튜브와 넷플릭스의 AI는 우리의 통장에서 꼬박꼬박 수금을 하고 있다. 우리를 너무나 잘 알고 있다는 이유로.
추천 시스템은 보통 다음과 같은 2가지 방식을 사용한다.
콘텐츠 기반 필터링: 내가 선호하는 영화와 비슷한 영화를 추천하는 방식
협업 필터링: 나와 비슷한 고객이 시청한 영화를 추천하는 방식
콘텐츠 기반 필터링은 액션 영화를 선호하면 또 다른 액션 영화를, 로코 영화를 선호하면 또 다른 로코 영화를 추천하는 식이다. 영화에 대한 특징 정보만 갖고 있다면 고객이 선호하는 영화를 제안할 수 있다. 하지만 대부분은 사람이 직접 분류해야 하고, 특징을 세분화한다고 해서 고객의 관심사를 확장하기 어렵다는 한계가 있다.
협업 필터링은 고객과 영화 사이의 관계에 중점을 둔다. 여러 고객이 영화에 점수를 매기고, 매겨진 점수의 유사성에 따라 영화 간의 유사성을 결정한다. 여기서 핵심은 고객 간의 유사도이다. 비슷한 성향의 고객이 높은 평점을 준 영화를 추천해 주는 방식인데, 이렇게 하면 만족할 확률도 높아지고 관심사도 확장할 수 있다.
2가지 방식 안에서도,
'덜 클릭하고, 더 오래 보는' 영상, 그리고 따끈따끈한 '신상' 영상이 보상점수가 높아 추천시스템의 상위에 노출된다.
여기에 더해,
추천 시스템은 고객이 기존 취향의 울타리 안에만 갇히지 않도록 노력한다. '알 수 없는 알고리즘'에 의해 이루어지는 '뜻밖의 발견'의 가치를 높게 쳐주는 것이다.
내비게이션
출처: Lovepik운전자라면 내비게이션 없는 운전은 상상하기 힘들다.
이 내비게이션이 우리의 운전습관으로 훅 들어오게 된 2가지 터닝 포인트가 있다. 첫 번째는 미국이 보다 정확한 GPS 신호를 민간에 개방한 것, 두 번째는 내비 시스템이 교통정보와 머신러닝까지 연동되며 스마트해진 것이다. '스마트한 운전 비서'는 1. 교통체증을 예측하고, 2. 최적의 경로를 안내할 수 있게 되었다.
1. 교통체증 예측
교통체증을 예측하는 가장 간단한 방법은 조건에 따라 분기하는 의사결정나무를 만드는 것이다. 예, 아니오로 답할 수 있는 질문을 만들어 정답을 예측하는 것이다. 덜 복잡하게 하고, 덜 불확실하게 하여 가급적 정답을 빨리 맞히는 것이 목적이므로 학습한 교통정보에서 교통체증이 높을만한 경우의 수를 하나씩 제거해 간다.(계절, 요일, 시각 등) 상관관계가 낮은 요소는 질문에서 생략하기 때문에 빠른 예측이 가능하다. 하지만 학습한 데이터 중 특정 시기가 포함되지 않았을 경우 잘못된 판단을 할 수 있고 스스로 수정이 불가능하다는 한계가 있다.
의사결정나무의 한계를 보완한 모델의 이름은 랜덤 포레스트이다.
엄청나게 똑똑한 의사결정나무가 내린 정답보다 평범한 100개의 나무가 내린 정답을 모두 종합하면 그 결과가 훨씬 더 훌륭하다는 원리이다. 오류에 견고할 뿐만 아니라 성능 또한 훨씬 더 좋다.
다른 하나는 그레이디언트 부스팅이다.
먼저 의사결정나무를 하나 만든다. 오류가 발생하면 실수를 바로잡은 새로운 나무를 만든다. 이 과정을 오류가 최소화할 때까지 계속해서 반복한다.
단일 의사결정나무는 단순하지만 성능은 다소 떨어진다. 반면 랜덤 포레스트와 그레이디언트 부스팅은 복잡하지만 성능은 매우 뛰어나다.
2. 최적 경로 예측
최단 경로를 찾는 알고리즘 중에서 가장 유명한 데이크스트라 알고리즘은 현재 위치에서 주변을 모두 살핀 후 그중 항상 최단 경로를 택하는 알고리즘이다. 단순할 뿐만 아니라 찾는 속도도 매우 빠르다.
A*알고리즘은 양방향 경로를 합산하여 최적 경로를 찾아낸다. 빠르게 계산할 수 있는 A*알고리즘은 내비게이션에 특히 유용하다. 게다가 다양한 변수를 적용할 수 있기 때문에 활용도가 매우 높다. 그래서 사실상 시중에 있는 모든 내비게이션은 A*알고리즘을 이용해 최적 경로를 계산한다.
그런데 모든 내비가 비슷한 수준으로 '스마트해서' 발생하는 아이러니도 있다.
새로 만든 도로에 교통 정체 상황이 도로 개통 이전보다 더욱 악화된다든지,
명절 기간 중 교통이 원활하다고 예측한 시간대에 차가 막히기도 한다.
교통 시설 전체를 효율적으로 활용하려면 시간과 공간에 차량이 적절히 분포되어야 한다.
'스마트한 운전 비서' 간 협업이 필요한 시점이다.
AI 집사의 다음 목표는?
AI 집사는 하루종일 바쁘다. 날씨도 알아봐야 하고(스마트 스피커), 영화도 골라줘야 하며(추천 알고리즘), 길 안내(내비게이션)도 도맡아서 해야 한다. 여기에 소개하지 못한 검색, 번역까지 더하면 몸이 10개라도 부족할 지경이다.(노동청에 신고하진 않겠지?)
이 근면성실한 집사가 요즘 몰두하고 있는 2가지 분야가 있다. 바로 챗봇과 자율주행이다. 지금도 웬만한 상담업무, 주행보조를 담당하고 있지만, 오픈 AI의 'ChatGPT'와 테슬라의 'FSD' 발전속도를 보면 '자유대화'와 '무인주행'의 시간이 머지않은 듯 보인다. 그때쯤이면 '집사'가 아니라 '친구'라 불러도 되지 않을까?
