인공지능, 이미 아이폰에 있다.
아래의 글은 해외에 등록된 기사를 번역한 글입니다.
An exclusive inside look at how artificial intelligence and machine learning work at Apple
2014년 7월 30일, 시리는 뇌이식 수술을 받았다.
3년 전, 주요 기술 기업으로는 최초로 애플이 스마트 비서를 운영체제에 통합시켰다. 2010년에 만들어진 시리는 애플이 시리 팀 자체를 인수하고 채택했던 별도의 앱이었다. 초기 리뷰는 경탄할 지경이었지만 수개월, 수 년이 흐르자 시리의 불충분한 점에 대해 사용자들이 인내심을 잃어가고 있었다. 너무나 자주 명령을 잘못 해석했으며, 그동안의 수정은 시리의 문제를 고치지 못했었다.
그래서 애플은 2014년 7월 말, 미국 사용자를 위한 시리의 음성인식을 신경회로망 시스템 기반으로 이주했다(공식 출시는 2014년 8월 15일이었다). 이전의 기술도 여전히 작동하지만(굳이 궁금하다면 "숨겨진 마르코프(Markov) 모델'을 포함한다), 현재 시리 시스템은 심층신경망(DNN)과 복잡신경네트워크, LSTM (Long Short Term Memory)과 GRU (Gated Recurrent Unit), 그리고 N-그램 방식을 활용하고 있다. (물어보셔서 기쁘다.) 업그레이드를 할 때, 시리는 여전히 같은 외양이겠지만, 이제 시리는 딥러닝(deep learning)을 적극적으로 채택했다.
어쩌면 자신의 생각을 내비치는 꼴이기 때문에, 이면(裏面)의 발전을 경쟁사에게 알리기 꺼려하는 애플은 동 개발을 공개하지 않았다. 사용자가 알아차릴 수 있는 면이라면 실수가 줄어들었다는 정도일 것이다. 사실 애플은 이제 정확도의 개선이 놀랄 만하다고 말한다.
Senior VP for Internet Software and Services Eddy Cue에디 큐 애플의 인터넷 소프트웨어 및 서비스부 수석 부사장의 평이다. "너무나 발전이 큰 나머지, 누군가 소수점을 일부러 떨어뜨린 것이 아닐까 싶어서 실험을 다시 할 정도였죠."
여기서 처음 밝히는 시리의 전환 이야기는 인공지능 업계에서 큰 반향을 일으킬 만하다. 신경망이 시스템을 개선시켜서만이 아니라(물론 개선시켰다), 애플이 너무나 조용히 능숙하게 해내고 있기 때문이다.
애플이 고용을 늘리기 시작하고 몇몇 인물들을 영입하기는 했어도, 최근까지 AI 업계는 최근 극에 달할 정도로 유행인 인공지능, 말하자면 강력한 AI 툴을 사용하는 경쟁에 있어서 애플을 느림보로 간주해 왔었다. 애플은 공개되지 않은 일에 대해서 언제나 입을 굳게 다물기 때문에, AI 전문가들은 애플이 기계학습에 대해 무엇을 하는지 몰랐다. 인공지능사를 스탠퍼드 대학에서 가르치는 제리 캐플런(Jerry Kaplan)은 애플이 AI 업계의 NSA라 말한다. 그러나 AI 전문가들은 애플의 노력이 구글이나 페이스북 만큼 컸다면 분명 그동안 들리는 게 있었으리라고도 말하고 있다.
Allen Institute for AI의 오렌 에치오니(Oren Etzioni)는 구글과 페이스북, 마이크로소프트에 기계학습 최고 권위자들이 몰려 있다고 말한다. "맞아요. 애플도 몇 명 고용하기는 했지만, 애플을 위해 일하고 있는 기계학습에서 최고 권위자 5명이 누구인가요? 애플이 음성인식을 갖고 있기는 하지만 [기계학습이] 도움을 줄지는 불확실합니다. 기계학습을 사용하는 애플 제품을 보여 주시죠!"
에치오니는 "저는 미주리에서 왔습니다. 그러니까 보여 주세요."라 말했다. 사실 그는 이스라엘 출신이다.
그러니까 이번 달 초, 애플은 기계학습을 어디에 사용하는지 실제로 보여줬다. 다만 에치오니에게 보여주지 않고 필자에게 보여줬다(오렌, 이거 읽으시길). 어느 날, 필자는 쿠퍼티노 애플 본사의 이사회의실에 앉아 애플의 최고 임원진(에디 큐와 필 실러, 크레이그 페더리기)은 물론 핵심 시리 과학자 2명으로부터 애플이 AI에 있어서 무엇을 하는지를 배웠다. 자리에 앉자 그들은 필자에게 기계학습으로 빽빽이 채워진 2 장 짜리 애플 제품과 서비스의 목록을 건네줬다. 이제 그들이 말해줄 터이지만, 이미 출하 중인 것도 있었고 곧 출하할 예정인 것도 있었다.
애플의 메시지: 우리는 이미 뛰고 있는 선수입니다. 최고이죠. 다만 우리 방식대로 합니다.
아이폰 사용자라면 무엇을 요구할지 이해하는 개선된 시리 말고도 애플의 AI를 사용해 왔었다. 주소록에는 없지만 최근 이메일을 보낸 적 있는 사람이 전화했을 때 전화기가 그 사람을 띄워주는 광경을 보셨다거나, 화면을 쓸어 넘겨서 다음에 제일 열고 싶어 할 앱들의 간단한 목록을 띄우는 때도 있다. 아니면, 달력 앱까지 들어간 적이 없었다 하더라도 약속 알림을 받는 경우가 있거나, 예약한 호텔이 지도에 불쑥 표시되고, 별도로 요청하지 않았는데도 불구하고 자동차를 어디에 주차했는지 전화기가 알려줄 때가 있다. 딥러닝과 신경망을 애플이 채택했기 때문에 가능해진, 혹은 크게 개선된 기술이다.
그렇다. 아이폰에 이미 "애플 브레인"이 있다.
Face recognition? Apple is in the game with its neural nets.애플에서는 기계학습(Machine learning)을 이제 모든 애플 제품과 서비스에서 발견할 수 있다고 말한다. 애플은 애플스토어의 지불 사기를 검출한다거나 모든 장비에 대해 배터리 수명을 조정한다든지, 베타 테스터들로부터 오는 수 천여 보고서로부터 가장 유용한 피드백을 뽑아낸다든지 하는 데에 모두 딥러닝을 활용하고 있다. 기계학습 덕분에 애플은 여러분을 위한 뉴스 스토리를 선택해주며, 애플워치 사용자가 운동을 하는지, 아니면 그냥 걸어 다니는지로 알아낸다. 사진 속의 위치와 얼굴도 인식하고 말이다. 또는 약한 와이파이 신호를 검출하고는 그냥 휴대폰 통신망으로 바꿀 때도 있다. 심지어 영화제작도 잘할 줄 알아서 여러분의 사진과 영상을 곧바로, 버튼 한 번 눌러서 미니-영화로 탈바꿈시킨다. 애플의 경쟁사들도 유사한 일을 하지만, 애플 임원진은 그 어느 AI도 애플만큼 프라이버시를 지키는 곳이 없다고 한다. 그리고 물론 이들 중 누구도 애플 제품을 만들지는 않는다.
애플에게 있어서 AI는 새롭지 않다. 이미 1990년대 초반, 애플은 기계학습 기술을 사용하여 필기인식 제품을 만들었었다. (기억하시나, Newton?) 그 잔여물은 현재의 제품에 여전히 남아 있다. 손으로 입력한 한자를 텍스트로 바꾸거나, 애플워치 페이스상에 손가락으로 개별 메시지를 입력하는 경우를 생각할 수 있겠다. (두 가지 기능 모두 동일한 기계학습 엔지니어 팀이 만들었다.) 물론 초창기 시절의 기계학습은 훨씬 더 원시적이었으며, 딥러닝은 유행어도 아니었다. 오늘날 그러한 AI 기능은 대유행이며, 애플은 애플의 학습이 상대적으로 얕다는 평가에 발끈한다. 최근 애플 CEO 팀 쿡은 애플이 실제로 인공지능 일을 하고 있다고 지적하기도 했었다. 그리고 지금, 임원진들 또한 더 자세히 설명해주고 있다.
The Apple Watch uses machine learning in its fitness-related apps.필 실러는 지난 5년간 애플 내부에서 괄목할 만한 성장이 있었다고 말한다. "특히나 애플이 디자인한 A 시리즈 칩에서 우리 장비들은 더 빠른 속도로 더 영리해지고 있습니다. 백엔드(back ends)도 더 영리해지고 빨라졌어요. 우리가 하는 모든 것이 연결될 이유가 있습니다. 배워야 할 것이 너무나 많고, 그게 또 [우리에게] 가능하기 때문에 더 많은 기계학습이 가능해졌거든요."
애플이 기계학습을 완전히 받아들이고 있음에도, 임원진은 기계학습에 대한 포용 또한 여느 때와 마찬가지로 사업적인 이유 때문이라 말한다. 쿠퍼티노의 일루미나티 관점에서 딥러닝과 기계학습은 신기원을 이루는 기술의 끊임없는 조류 중 최신 사례일 따름이다.
그렇다, 맞다. 큰 변화랄 수 있겠다만 터치 화면이나 플랫 패널, 객체지향 프로그래밍과 같은 다른 진보에 비하면 그다지 큰 변화도 아니다. 다른 기업들은 달리 말하지만 애플의 관점에서 기계학습은 최종 목표가 아니다. 큐의 말이다. "우리가 장비를 다루는 방식을 뒤바꾼 중요한 기술이 그 외에 없었다는 얘기가 아닙니다." 애플 그 누구도 예외 없이 AI 논의를 하는 으스스하고 무서운 추측은 손대고 싶어 하지 않는다. 예상하시다시피, 애플은 자율주행 자동차를 작업하고 있는지, 애플식의 넷플릭스에 도전하는지 확인해주지 않았다. 다만 팀은 애플이 Skynet을 작업하고 있지는 않다는 점을 분명히 확인했다. 실러의 말이다.
"우리가 항상 하고 싶었던 일을 이전보다 더 잘 해내기 위해 이들 기술을 사용합니다. 할 수 없었던 새로운 일도 있죠. 우리가 제품을 만드는 방식으로, 그러니까 애플 내부에서 계속 자라나는 식의 애플스러운 방식이 될 기술이 기계학습입니다."
하지만 브리핑이 진전되면서, AI가 이미 얼마나 애플 생태계의 전체적인 사용감을 형성시켰는지 분명해졌다. AI 업계는, 애플에 대해 검색엔진이 없고(검색엔진이 있어야 신경망을 훈련시킬 데이터를 조달할 수 있다) 사용자 정보 보호를 고집스럽게 강조하고 있다(다른 사용처를 막는다)는 인식을 갖고 있다. 애플은 이 두 가지 장애물을 어떻게 하면 뛰어넘을지를 알아냈다.
아이폰 상에서 기계학습을 수행하는 역동적인 두뇌는 얼마나 클까? 애플에 묻자 좀 놀라운 답이 나왔다. 200 메가바이트 정도이며, 개인 정보를 얼마나 많이 저장하느냐에 달려 있다(예전 데이터는 언제나 삭제한다). 앱 사용처와 다른 사람들과의 인터랙션, 신경망 프로세싱, 언어 모델러 그리고 "자연어 이벤트 모델링(natural language event modeling)"을 포함하는 이 정보는 객체 인식과 얼굴 인식, 장면 분류를 담당하는 신경망에서도 사용한다.
그리고 애플에 따르면 기호나 성향, 편력은 모두 프라이버시인 채로 학습이 이뤄진다.
비록 애플이 자신이 AI의 무엇을 하는지, 모든 것을 설명하지는 않았지만, 필자는 애플이 기계학습 전문가들을 조직 내 어떻게 배치시키는지에 대한 설명을 끌어낼 수 있었다. 애플은 회사 전체를 통해 기계학습 관련자들을 공유한다. 이들은 개별 제품의 기능을 만들거나 문제를 해결하도록 장려하는 제품팀에 들어간다. 크레이그 페더리기는 애플 내에 중앙 집중화된 단일 조직이 없다고 한다. "올바른 사용감을 제공하기 위해 필요한 팀들끼리 가까이하려 노력합니다."
애플에서 기계학습을 작업하는 직원은 얼마나 될까? 말 좀 해 보라고 찍었더니 페더리기는 "아주 많다"고 답했다. (실제로 그가 인원수를 답했을 것 같은가? 그렇게 생각하셨다면 여러분은 아직 애플을 모르는 것이다.) 그런데 애플에 입사하기 전에 꼭 관련 분야에서 훈련을 받지 않은 이들 중에 기계학습에 투입되는 경우가 많다는 점도 흥미롭다. 페더리기의 설명이다. "수학과 통계학, 프로그래밍 언어, 암호학과 같은 근본적인 분야에 있어서 대단히 뛰어난 사람들을 고용합니다. 이들 핵심 인재들 다수가 기계학습으로도 아름답게 전환되죠. 현재는 기계학습 관련자들도 분명 고용하고 있기는 하지만, 핵심 역량과 능력이 뛰어난 사람들 또한 여전히 찾고 있습니다."
From left, Senior Vice President of Software Engineering Craig Federighi listens to Siri Senior Director Alex Acero discuss the voice recognition software at Apple headquarters.
비록 페더리기가 언급하지 않았지만 애플식의 접근은 필요한 일이다. 경쟁사들은 스타급 컴퓨터 과학자들이 전 세계와 연구 결과를 공유하도록 장려한다. 그에 비하면 비밀주의에 대한 애플의 애호는 애플에게 불이익을 안겨다 주기도 한다. 페더리기는 애플의 관행이 자연선택의 강화라 설명한다. "위대한 제품을 만들기 위해 팀으로서의 작업에 관심 있는 이들과 주된 관심이 출판에 있는 사람들과의 대결입니다." 애플 제품을 개선시키면서 과학자들이 우연히도 관련 분야에 업적을 남길 수 있다면 그것도 훌륭하다. 그렇지만 큐는 애플이 최종 결과를 낸다는 비전으로 움직인다고 설명했다.
회사 인수로 들어오는 인재들도 있다. 큐의 말이다. "우리는 최근 한 해에 20-30개의 회사를 인수합니다. 상대적으로 작죠. 인재 영입 때문에 하는 일이에요." 페더리기도 덧붙였다. "애플이 AI 업체를 하나 인수할 때 여기 기계학습 연구자들이 잔뜩 있으니 이들 데리고 한 번 만들어 보자, 이런 식으로 하지는 않죠. 능력 있는 인재들을 찾기는 하지만, 훌륭한 경험을 제공하는 데에 정말 집중하는 사람들을 원합니다."
가장 최근 인수 사례는 시애틀에 있는 Turi의 2억 달러 인수 건이다. Turi는 구글의 TensorFlow에 비견할 수 있는 기계학습 툴킷을 만들었으며, 애플의 인수 때문에 애플이 내부적으로, 그리고 개발자를 위해 구글과 유사한 목적으로 사용하리라는 루머가 활발했었다. 애플 임원진은 부인도 확인도 하지 않았다. 큐는 기술적인 관점이나 사람들의 관점에서 볼 때 애플과 Turi가 매우 잘 어울리는 부분이 분명 있다고만 언급했다. 1-2년 후면 어째서 인수했는지 알 수 있을 것이다. 사례가 있다. 2013년 애플이 인수했던 조그마한 스타트업, Cue(에디 큐를 말함이 아니다!)의 예견 기능을 시리에서 일부 보이기 시작했을 때에서야 Cue 인수의 이유를 알아차릴 수 있었다.
어디에서 인재들이 들어오든지 간에, 애플의 AI 인프라는 초기에는 불가능했을 제품이나 기능의 개발 가능성을 열어줬다. 애플의 제품 로드맵을 바꾸고 있다는 의미다. 실러는 애플 내에서 쿨한 아이디어의 목록에 끝이 없다고 말한다. "기계학습 덕분에 우리는 과거에는 NO라 말했던 것들에 대해 YES라고 말할 수 있게 됐습니다. 향후에 우리가 할 제품 결정 과정에도 기계학습이 스며들고 있죠."
아이패드 프로와 연동하는 애플펜슬도 그 사례이다. 하이테크 스타일러스를 만들기 위해, 애플은 사람들이 아이패드 프로상에서 뭔가를 적을 때 손바닥이 어쩔 수 없이 터치화면과 닿을 수밖에 없다는 사실을 다뤄야 했었다. 디지털 혼란을 일으킨다는 의미다. 여기서 "손바닥 리젝션(palm rejection)"의 기계학습 모델을 사용하여 화면 센서가 매우 높은 정확도로 화면 쓸어 넘기기와 터치와 펜슬 입력의 차이를 구분할 수 있게 되었다. 페더리기는 안정적으로 작동하지 않을 경우에는 더 이상 뭔가 작성할 좋은 종이가 될 수 없다고 말한다. "그렇다면 펜슬 또한 좋은 제품이 아니죠." 여러분의 펜슬을 좋아한다면, 여러분은 기계학습에게도 감사해야 한다.
애플의 기계학습이 큰 진전을 보인 최고의 이유는 아무래도 지금까지 있어서 제일 중요한 AI 업체 인수였던 시리일 것이다. 시리의 원류는 지능적인 비서 프로그램을 만들던 야심작, DARPA 프로그램이었으며, 이곳 과학자들이 해당 기술을 사용하여 앱을 만들기 위해 회사를 차렸었다. 그리고 스티브 잡스 자신이 그들을 설득하여 2010년 애플이 인수를 했고, 시리를 운영체제 안으로 끌어들이도록 명령했다. 시리의 첫 소개는 2011년 10월 아이폰 4S 이벤트의 하이라이트였다. 현재 시리의 작동은 홈 버튼을 누르고 있을 때나, 단순히 "시리야"를 말할 때 하는 질문의 범위를 넘어선다. ("시리야" 자체가 배터리 소모 없이 아이폰의 귀를 기울이게 만드는 기계학습의 산물이다.) 시리의 지능은 설사 시리가 입을 다물고 있다 하더라도 애플 브레인에 통합되어 있다.
큐는 시리의 네 가지 컴퍼넌트를 인용했다. 얘기를 걸 때 이해할 음성인식, 말하는 바를 이해할 자연어 이해, 요구나 질의를 처리할 실행, 그리고 다시 결과를 들려줄 반응의 네 가지이다. 큐는 기계학습이 상당히 중요한 방식으로 모두에게 영향을 끼쳤다고 말한다.
Siri Advanced Development Head Tom Gruber (top) and Siri speech guru Alex Acero
고도 개발에 있어서 시리의 수장은 시리를 인수했을 때 애플에 들어왔던 톰 그루버(Tom Gruber)이다. (공동 창업자는 2011년 소개 이후 떠났다.) 그는 애플이 시리에 신경망을 적용하기 이전에도 시리의 사용자 기반은 신경망의 훈련에 사용될 정도의 데이터를 제공하고 있었다고 한다. "스티브는 저보고 하룻밤 사이에 앱 하나에서 베타 프로그램 없는 1억 명의 사용자들 수준으로 자라날 거라 말했어요. 갑자기 사용자가 생긴다는 의미였죠. 사람들 말하는 방식이야말로 제 앱에 중요하다는 겁니다. 바로 첫 번째 혁명이었어요. 그리고나서 신경망이 들어왔습니다."
음성인식을 신경망이 다루도록 하는 시리의 전환은 현재 음성팀을 이끌고 있는 알렉스 아세로(Alex Acero)를 포함한 여러 AI 전문가들이 애플에 들어오면서 본격화됐다.
아세로는 1990년대 초 애플에서 음성인식 일을 시작한 바 있었다. 그리고 나서는 마이크로소프트 리서치에서 수년을 보냈다. "음성인식이 좋았어요. 논문도 많이 냈죠. 하지만 시리가 나왔을 때, 이거야말로 딥 신경망을 현실화시킬 기회라 여겼습니다. 수 백 명이 읽고 마는 것이 아니라 수백만 명이 사용하는 것이죠." 달리 말해서, 그야말로 애플이 찾던 종류의 과학자였다. 논문 출판보다는 제품 출시가 우선인 과학자다.
3년 전 아세로가 들어왔을 때, 애플은 시리의 음성인식 기술을 여전히 외부로부터 라이선스 받고 있었기 때문에 상황 변화가 필요했다. 페더리기는 애플이 계속하는 패턴이라 설명한다. "한 기술 영역이 중요한 나머지 결국 우리가 훌륭한 제품을 낼 능력이 달려 있다는 점이 확실해지면, 우리가 원하는 경험을 제공할 능력을 우리 스스로 만들어냅니다. 훌륭하게 만들기 위해서는 우리가 가져야 하고 내부적으로 혁신해야 하죠. 음성이야말로 우리가 외부에 맡겼지만 본격적으로 시작해야 할 훌륭한 사례입니다."
아세로의 팀은 시리의 오리지널을 교체하기 위해 신경망을 훈련시키기 시작했다. 아세로는 팀에 가장 크고 가장 빠른 GPU (graphics processing unit microprocessor) 팜이 항상 있었다고 말한다. "데이터를 그냥 쏟아부었습니다." 2014년 7월의 출하는 그러한 작업이 헛되지 않았음을 증명했다. 아세로의 말이다.
"모든 언어에서 오인율이 절반 이하로 떨어졌습니다. 그보다 더 떨어진 경우도 많았고요. 대부분은 딥러닝과 알고리듬 그 자체만이 아니라 전체적인 제품의 처음부터 끝까지(end-to-end) 맥락에서 우리가 했던 최적화 덕분입니다."
'처음부터 끝까지'가 상당히 강력하다. 애플이 심층신경망(DNN)을 음성인식에 사용한 최초의 회사는 아니지만, 전체 제공 시스템을 통제하는 애플로서는 이익인 부분이 있다. 아세로에 따르면, 애플은 칩을 스스로 만들기 때문에, 신경망 성능을 최대화 시키도록 장비용 펌웨어를 작성하는 엔지니어 및 실리콘 디자인 팀과 직접 협조할 수 있다. 시리 팀에서 필요할 경우, 아이폰 디자인도 영향을 받는다.
페더리기는 실리콘만이 아니라고 말한다. "아이폰에 얼마나 많은 마이크를 어디에 넣느냐의 문제입니다. 하드웨어와 마이크와 오디오를 처리하는 소프트웨어 스택을 어떻게 튜닝하느냐의 문제이기도 하죠. 모두가 조화로워야 합니다. 소프트웨어만 만들고 무슨 일이 날지 지켜보기만 해야 할 사람들에 비하면 엄청난 이익이죠."
다른 장점도 있다. 제품 하나 안에 있는 애플의 신경망은 다른 목적으로도 사용할 수 있는 핵심 기술이 될 수 있다. 따라서 여러분을 시리가 이해할 때 기계학습이 도움을 준다면, 이 엔진은 타이핑 대신 받아쓰기를 할 때도 도움이 될 수 있다. 시리의 작동 결과, 소프트 키보드를 피하고 그냥 마이크로 얘기했을 때 메시지와 이메일이 보다 더 일관성 있게 쓸 수 있음을 알 수 있다.
큐가 언급한 시리의 두 번째 컴퍼넌트는 자연어 이해이다. 2014년 11월 시리는 사용자의 의도를 이해하기 위해 기계학습을 사용하기 시작했고, 1년 후, 더 깊은 학습을 거친 버전을 선보였다. 음성 인식에 있어서 기계학습은 특히 명령을 보다 유연하게 해석하는 등 경험을 개선시켰다. 사례를 보자. 큐는 자기 아이폰의 시리를 깨웠다. '제인에게 Square Cash로 20달러를 보내'라 말하자 화면에는 그의 요구를 받아들이는 장면이 나왔다. 그리고 나서 그는 약간 다르게도 말했다. "내 부인에게 20불을 쏴." 결과는 같았다.
애플은 시리의 이러한 개선이 없이는 세련된 음성 컨트롤을 갖춘 현재의 애플 TV를 만들어낼 수 없었으리라 말한다. 더 예전 버전의 시리가 제한적인 방식으로 말하게 시켰다면, 딥러닝을 거친 버전은 거대한 영화와 노래 카탈로그에서 특정한 선택을 제공할 뿐 아니라 개념도 다룰 수 있다. 가령 톰 행크스가 나오는 좋은 스릴러 영화를 보여달라고 할 수 있다. (시리가 정말로 스마트하다면 "다빈치 코드"는 제외할 것이다.) 페더리기에 따르면 이런 기술 이전에는 제공할 수 없었으리라 말한다.
올해 가을 정식 버전이 나올 예정인 iOS 10과 함께 시리의 음성 기술은 기계학습으로 바뀐 네 가지 컴퍼넌트의 마지막이 될 것이다. 다시 말해서 이전의 라이선스-판으로 구현한 엔진을 심층신경망으로 바꿨다. 본질적으로 시리의 음성은 음성 센터에서 모은 녹음 데이터베이스에서 나온다. 각 문장은 그러한 음성 조각의 짜깁기로 구성된다. 그루버에 따르면 기계학습은 이들을 매끄럽게 만들어서 시리를 보다 실제 사람처럼 들리게 만든다.
아세로가 시연을 했다. 우리 모두 적응된 로봇과 같은 요소의 시리 음성을 우선 들려줬고, 그다음에는 관능적인 유창한 억양으로 "안녕하세요, 무엇을 도와드릴까요?"의 새로운 시리를 들려줬다. 차이점이 무엇일까? 아세로가 말한다. "딥 러닝, 베이비."
작은 디테일처럼 보이기는 하지만, 보다 더 자연스러운 시리 목소리는 큰 차이를 불러일으킬 수 있다. 그루버의 설명이다. "음성의 질이 더 높아지면 사람들이 더 신뢰감을 느낍니다. 음성이 더 나아질수록 사용자도 더 사용을 많이 하게 되죠. 따라서 규모의 수익 효과가 늘어납니다."
기계학습이 이룬 개선 외에도 시리를 사용하고자 하는 의지 또한 애플에게는 더 중요해졌다. 애플의 비판가들이 오래전부터 지적했던, 타-개발자들에 대한 시리 개방을 애플이 곧 하기 때문이다. 서드파티 시리 파트너들이 수 백 곳에 이르리라고는 하지만, 외부 개발자들이 제공하는 천 가지의 "스킬"을 자랑하는 아마존의 알렉사에 뒤쳐진다는 지적도 있다. 애플은 비교 불가라 말한다. 아마존 사용자들이 그러한 "스킬"에 접근하기 위해 특정 언어를 사용해야 하기 때문이다. 애플에 따르면 시리는 Square Cash나 Uber와 같은 것을 보다 자연스럽게 통합시켰다. (시리의 다른 공동창업자가 만들어낸 또 다른 경쟁자인 Viv 또한 견고한 통합을 약속한다. 아직 출시일은 발표되지 않았지만 말이다.)
사람들이 새로운 기능을 발견하고 또 친숙한 질문의 성공률이 높아지면서, 시리의 개선이 변화를 가져오고 있다고 애플은 말한다. "아마 우리가 하는 모든 일을 잘 알려야 할 필요가 있을 겁니다. 예를 들어서 저는 운동을 좋아하죠. 누가 이 게임에서 승리하리라고 보는지 물어볼 수 있습니다. 그러면 답이 나오죠. 저는 시리가 그런 것까지 답할 수 있다는 걸 몰랐어요!"
기계학습의 채택에 있어서 아마 가장 큰 이슈는 사용자 프라이버시 보호 원칙을 고수하면서 애플이 어떻게 성공할 수 있는지이다. 애플은 사용자 정보를 아무도 못 보게(애플의 변호사도 포함) 암호화시킨다. 심지어는 영장을 가진 FBI도 못 본다. 그리고 애플은 광고의 목적으로 사용자 정보를 모아들이지 않는다고 강조한다.
사용자 관점에서 칭찬할 만하지만, 애플의 엄격함은 최고 수준의 AI 인재들 영입에 있어서 그리 도움이 안 됐다. 현재 AI 회사에서 일하고 있는 한 전직 애플 직원은 기계학습 전문가들이 원하는 것은 데이터뿐이라고 지적한다. "하지만 프라이버시에 대한 입장 때문에, 애플은 기본적으로 한 손을 뒤에 숨기고 있는 겁니다. 무엇이 올바른지 논할 수는 있겠지만, 애플이 실질적으로 AI에 신경을 안 쓴다는 명성을 주죠."
애플 임원진은 이런 주장에 상당히 반박했다. 그들은 강력한 기계학습에 있어서 필요로 하는 데이터를, 클라우드 내 사용자 정보를 저장하지 않고도 모두 모을 수 있다고 말한다. 심지어 신경망 훈련을 위해 사용자 행동의 속성을 저장하지 않아도 모을 수 있다. 페더리기의 말이다. "잘못된 논리에 잘못된 타협인 겁니다. 사용자 프라이버시를 존중하는 입장으로 알려졌다는 면이 아주 좋아요. 모든 곳의 사용자를 위해, 우리는 업계에게 우리처럼 할 수 있음을 보여주고 싶습니다."
여기에는 두 가지 이슈가 있다. 첫 번째는 기계학습 기반 시스템 안에서 개인정보의 처리를 포함한다. 신경망 처리를 통해 사용자 정보를 모았을 때, 이 정보에는 무슨 일이 일어나는가? 두 번째 이슈는 행위 인식을 위해, 신경망 훈련용으로 개인정보를 모아들이는 문제이다. 사용자 개인 정보를 모으지 않은 채, 어떻게 행위를 인식한다는 말인가?
애플은 두 이슈 모두 해답을 가졌다고 말한다. 큐의 말이다. "애플에게 개인 정보 데이터가 없으니 AI로 뭘 할 수 없다는 인식이 있습니다만, 우리는 프라이버시를 유지하면서도 데이터를 모을 방법을 찾아냈습니다. 그것이 요점이죠."
애플은 첫 번째 이슈(신경망이 규명할 개인 성향과 정보의 보호)를 소프트웨어와 하드웨어를 모두 통제하는 애플의 입장을 통해 다룬다. 간단히 말해서 제일 개인적인 정보 대다수는 애플 브레인 내부에 머무른다. 페더리기의 설명이다. "기계학습이 떠올리는 제일 민감한 것들은 전적으로 장비 내에서만 이뤄지도록 유지합니다." 예를 들어서 그는 앱 제안을 제시했다. 오른쪽으로 쓸어 넘기면 떠오르는 아이콘들인데, 이상적으로 이들은 여러분이 다음에 열려는 앱과 정확히 일치한다. 이러한 예상은 여러가지 요소에 따라 일어나며, 다수는 오로지 사용자의 행동을 포함하게 되어 있다. 그리고 실제로 잘 작동한다. 페더리기에 따르면 예상에 따라 90%의 사용자들이 필요로 하는 앱을 찾는다고 한다. 애플은 휴대폰 바로 그곳에서 컴퓨팅을 하는 것이다.
애플이 장비 내에만 저장시키는 또 다른 정보가 있다. 아마 제일 개인적인 데이터일 텐데, 표준 아이폰 QuickType 키보드를 사용하면서 나오는 단어들이다. 신경망으로 훈련된 시스템은 무엇을 타자 칠지 예상하며, 그에 따라 애플은 비행 정보와 연락처, 약속과 같은 주요 이벤트와 아이템을 검출할 수 있다. 하지만 이 정보는 휴대폰 안에만 담긴다. 심지어 애플 클라우드에 들어가는 백업본만으로는 추정할 수 없도록 정제된다. 페더리기는 그런 정보를 애플 서버에 저장하기 원치 않는다고 말한다. "기업으로서 애플이 여러분의 습관이나 여러분이 어디를 언제 가는지 알 필요는 없습니다."
애플은 또한 일반적으로 저장되는 정보를 최소화하려 노력한다. 페더리기가 사례를 하나 알려줬다. 대화를 나누고 있고 누군가 잠재적인 검색 키워드를 말했다고 해 보자. 다른 기업들은 그들 키워드를 분류하기 위해 클라우드 상에서 대화 전체를 분석한다. 하지만 애플 장비는 사용자의 데이터를 클라우드로 넘기지 않은 채, 그런 키워드를 검출해낼 수 있다. 시스템이 아이폰 상에 저장되어 있는 지식에 기반하여 끊임없이 매치되는 상대를 찾기 때문이다. (이 또한 200메가바이트 짜리 "브레인"의 일부다.) 페더리기의 말이다.
"컴팩트하지만 상당히 완전한 지식베이스(base)입니다. 수 십만 로케이션과 속성이 들어 있죠. 여러분이 어디에 있는지 알기 때문에 지역화(localize) 시킵니다." 이 지식 베이스는 Spotlight 검색 앱과 지도, 사파리를 포함한 모든 애플 앱에 연결되어 있다. 또한 지식 베이스는 자동 완성도 돕는다. "백그라운드에서 끊임없이 돌아가고 있죠."
다만 기계학습 분야에서 제기하는 질문이 있다. 애플의 프라이버시 제한이 애플의 신경망 알고리듬을 묶어놓느냐이다. 바로 앞서 언급한 두 번째 이슈이다. 신경망은 정확도를 높이기 위한 훈련을 하려면 거대한 양의 데이터를 필요로 한다. 애플이 만약 사용자의 모든 행동을 빨아들이지 않는다면 어떻게 그 많은 데이터를 모은단 말인가? 다른 기업들처럼 애플도 일반 접근이 가능한 정보(가령 사진 인식을 위한 사진 데이터 셋)를 통해 신경망을 훈련시킨다. 그렇지만 사용자 기반으로부터만 나올 수 있는 정보도 가끔 필요할 때가 있다. 그래서 애플은 사용자가 누구인지 모르는 채로 이러한 정보를 얻으려 노력한다. 애플 ID와 연관 없이 랜덤으로 정의 내려서 데이터를 익명화 시키는 것이다.
iOS 10부터 애플은 차별 프라이버시(Differential Privacy)라 부르는 꽤 새로운 기술도 사용할 예정이다. 차별 프라이버시는 기본적으로 개개인을 전혀 구분하지 않는 방식으로 정보를 크라우드-소싱한다. 차별 프라이버시는 애플의 지식 베이스나 어휘에 없는 새로운 단어들이나 질의에 보다 관련성 있는 답변으로 갑자기 떠오른 링크, 특정 에모지의 사용 증가를 분석할 때 쓰인다. 페더리기의 설명이다. "타이핑 치는 모든 단어와 문자를 중앙으로 보내서 분석한 다음 흥미로운 것들을 검출하는 식이 전통적입니다. 하지만 우리는 처음부터 끝까지 암호화되어 있기 때문에 그렇게 하지 않죠." 연구자 커뮤니티가 차별 프라이버시를 만들었지만, 애플이 이를 대규모로 실시하려 하고 있다. 큐는 "연구 단계에서 10억 사용자로 끌어올리는 것이죠."라 말했다.
페더리기는 몇 년 전부터 작업을 시작했다고 한다. "대규모로 실시했을 때 실용적입니다. 정말 흥미로운 일을 해냈죠. 얼마나 프라이버시를 지키는지, 꽤 미친 게 아닌가 싶을 정도입니다." (그리고 나서 그는 가상의 동전 던지기(coin-tossing)와 암호 프로토콜을 포함한 시스템을 묘사했다. 비록 필자가 암호학에 대한 책을 쓰긴 했어도 따라가기 벅찼다. 기본적으로는 특정 데이터 조각에 수학적인 소음을 발생시켜서 애플이 개별 사용자를 규명하지 않은 채 사용 패턴을 검출해낼 수 있다는 방식이다.) 페더리기는 애플의 기여가 상당히 크고 세상에 상당히 가치를 부여한다고 말했다. 그래서 과학자들이 차별 프라이버시의 구현을 논문화 시키도록 허용하고 있다.
기계학습이 애플 제품을 바꿨다는 점은 확실한데, 애플 자체도 바꾸고 있는지는 그리 확실하지 않다. 기계학습은 기본적으로 애플의 기풍과 일치하지 않는 듯하다. 애플은 쓸어 넘기기 용 센서에 이르기까지 사용감을 주의 깊게 통제하는 회사다. 모든 점을 사전에 디자인하여 정확히 코딩한다. 그러나 기계학습을 사용할 때면, 일단 물러서서 소프트웨어 자신이 해결책을 찾도록 놔둬야 한다. 기계학습 시스템이 스스로 제품 디자인에 손대는 현대의 상황을 애플이 받아들일 수 있을까?
페더리기도 애플 내부에서 수많은 논쟁의 원천이 기계학습이라 말한다. "우리는 사전에 잘 준비하고 사용자와 인터랙트 할 시스템의 작동 방식의 모든 면을 통제할 수 있도록 경험을 조절하는 데에 익숙합니다. 인간 행동의 거대한 데이터셋 기반의 시스템을 훈련시키기 시작할 때면 그 결과가 애플 디자이너의 사전 지정과 일치하지 않을 수도 있거든요. 데이터에서 나타난 결과니까요."
하지만 실러는 애플은 뒤돌아서지 않았다고 한다. "디자인에 있어서 절대적으로 이 기술들이 영향을 끼치기는 하지만, 더 높은 품질 제품을 만들 수 있기 때문에 결국 우리가 사용하는 겁니다."
요점이 바로 그것이다. 기계학습에 올인하겠다는 선언은 앞으로도 하지 않지 싶지만, 애플은 될 수 있는 한 제품 개선을 위해 기계학습을 사용할 것이다. 아이폰 안의 브레인이 바로 그 증거다. 실러의 말이다.
"전형적인 고객이라면 매일매일 사용하면서 딥러닝을 경험하실 겁니다. 애플 제품을 왜 사랑하는지에 대한 사례가 되겠죠. 다만 제일 흥미로운 딥러닝의 사례는 너무나 미묘해서, 세 번째 볼 때까지 알아차리지도 못 할 겁니다. 멈춰 서서 도대체 이게 어떻게 가능하지? 라 여기시겠죠."
스카이넷은 기다려줄 수 있다.
Creative Art Direction by: Redindhi Studio
Photography by: Michelle Le
https://backchannel.com/an-exclusive-look-at-how-ai-and-machine-learning-work-at-apple-8dbfb131932b#.5lb4q4noz
번역 : 위민복
구성 : 케이머그
애플에 대한 모든 것. 케이머그
