미국 구글 비개발자와 PhD 출신 창업가의 AI 피봇
Written by 클래미 & 클로드
*구글 뉴욕 TPM 현직자와 PhD 출신의 미국 AI 창업가와의 대화*
계속해서 시간이 날 때마다 미국의 지인들과 커피챗을 진행하고 있다. 이번에는 뉴욕 구글 오피스에서 TPM(Technical Program Manager)으로 일하고 있는 선배, 그리고 미국에서 머신러닝 박사를 마치고 원래 AI 파운데이션 모델을 만드는 연구소로 가려다가 불현듯 창업을 하게 된 지인이다. 둘 다 15년 이상 미국 생활을 해 오신 분이다.
사실 매번 커피챗을 하기 전에는 어떤 얘기가 어떻게 매듭이 지어질지 전혀 상상을 못한다. 그래서 얘기를 하면서도 더 좋은 답변을 끌어내기 위해 촌각을 다투면서도, 동시에 내가 궁금한 점을 정확하게 잘 질문할 수 있기 위해서 집중을 열심히 한다. 둘 다 근데 너무 다른 배경이라서 (한 명은 미국 아이비리그 학부 졸업 후 쭉 금융권과 테크 대기업에서 일했고, 한 명은 미국 공대 명문대 졸업 후 학계 쪽에서만 쭉 있을 것 같다가 갑자기 창업을 하게 되고) 근데 막상 대화를 하고 블로그를 쓰기 위해 곱씹어보니, 둘이 꽤 비슷한 점이 있다는 것을 느꼈다. 바로 AI wave에서의 위기감은 절실하게 느끼고 있지만, 이 파도를 타기 위해서 아둥바둥, 피봇을 하면서 적응하면서 미래를 적극적으로 그려가고 있다는 거다. 물론 아직 명확한 솔루션을 잡진 못했지만 (지금 이 시대에 그런 사람이 아무도 없을 거다) 그래도 이게 커리어든 인생이든 제2의 기회로 잘 만들기 위해서 고군분투하고 계시는 것은 명확했다.
예를 들어서 선배는 구글에서도 운영 쪽인 비교적 안정적이고 서포팅 조직에 있었지만, 좀 더 적극적으로 AI 필드에 들어가기 위해, 핵심 팀 중 하나인 AI 구글 서치 팀으로 내부 인터널 트랜스퍼를 요청했다. 이유는 "5년 더 연명하기 위해서." 앞으로 5년 후 어떤 세상이 될지 아무도 모르지만, 그래도 파도를 한번 더 거슬러서 올라가야지, 그 이후에 더 희망찬 미래에 다가갈 수 있지 않을까 싶었다. 빅테크 안에서도 굉장히 치열하며, 특히 개발자가 70% 정도 되는 환경에서, 비개발자는 더더욱 경쟁이 치열할 것이다. 지인의 경우 미국 공대 명문대에서 아예 머신러닝을 전공했다. 정확히 말하면 뉴럴 네트워크의 수학적 이론 쪽으로 공부를 하고 인공지능 분야에서 꽤 유의미한 논문을 많이 집필해서 여러 파운데이션 모델 연구소에서의 러브콜이 많았다고 들었다. 사실 지금까지 그런 연구 분야에 본인이 흥미가 늘 많았다 보니, 그쪽으로 갈 법한데, 학부 때 친한 친구의 꼬드김(?)으로 공동 창업을 도전하게 되었다. 그 공동 창업자도 실리콘밸리 구글 엔지니어 출신이지만, 그 전에 여러 미국 스타트업에서 일을 했고, 대학교 때는 도지코인 열쇠고리를 만들어서 완판시킬 정도로 워낙 사업 수완이나 스타트업 창업에 원래 관심이 많아서, 본인도 이 분야에 마음이 많이 열려 있었다고 했다.
물론 구글 선배의 말처럼 "2~3년 뒤에 또 연명하려고 또 다른 걸 찾아야 되지 않을까"라고 했고, 창업가 지인도 AI 프런티어 기업들이 생각보다 너무 빠르게 발전하고 있어서, 지금껏 B2B 생산성 툴에 집중하고 있었다면 아예 B2C로 원초적으로 사람들의 도파민을 터뜨리는 것으로 방향을 확 틀어야 하나 고민도 하고 있다고 한다.
그들의 현재의 고민을 들으면서 꽤 인사이트가 많다 보니, 글로 기록해 보았다.
1. 빅테크는 잘나가지만, 개인의 치열한 생존 경쟁
구글 선배는 원래 구글 서비스의 운영팀에 있었다. 안정적이고 중요한 업무지만, AI 시대에 개인적으로 나의 커리어에 얼마나 도움이 될지 불안이 있었다고 한다. 그래서 본인이 직접 요청해서 구글 AI 서치 팀으로 옮겼다. 구글에서 검색하면 바로 AI가 요약해주는 그 기능이다.
옮기고 나서 많이 놀랐다고 한다. "내가 구글을 몇 년 다녔지만, 또 새롭다. 이 부서는 특히 진짜 스타트업처럼 엄청 긴박하게 움직인다"고 했다. 예를 들어서 한 PM이 일주일 동안 출장을 갔다 왔는데, 그 사이에 하던 프로젝트 세 개 중 두 개가 다른 사람에게 넘어가고, 본인이 하던 일에 아예 새로운 스코프가 생겨서 방향이 시프트됐다고 한다. 잠시 자리를 비우면 그 사이에 엄청난 변화가 생기고 있고, 슬랙에서도 2~3일 놓치면 그냥 프로젝트의 방향성 자체를 따라갈 수 없게 된다고 했다. 물론 본인도 너무 바쁘다 보니, 슬랙을 다 챙길 순 없고, 늘 클로드를 붙여서 실시간으로 요약과 인사이트만 추출하더라도 빠르게 팔로업하려고 한다고 한다.
"앞으로 5년 정도 더 연명하기 위해서 팀 이동은 어쩔 수 없었다. 근데 아마 2~3년 뒤에 또 연명하려고 또 다른 걸 찾아야 하겠지." AI 흐름을 만드는 빅테크 안에서도 살아남기 위해서 엄청 치열하고, 그래서 한 자리에 정착하는 게 아니라 계속해서 다음 파도가 치는 곳으로 이동하는 것이었다. "나도 원래 트렌드를 빨리 따라가는 타입은 아니야. 보통 지켜보다가 천천히 따라가는 스타일이었고. 그런데 지금은 지켜보기만 하면 안 되는 시기라는 걸 엄청 체감하고 있어."
2. 구글의 1주일이 멈췄다: AI Builders Week
지난 블로그에서 뉴욕 금융권 친구와의 대화에서 Stripe가 AI 전환을 제대로 하기 위해서, 1주일간 전사를 올스톱하고 AI 적응에만 전 직원을 집중시켰다고 했다. 구글도 마찬가지였는데, 그 일주일을 꽤 여러 번 시도하는 것 같다. 왜냐면 AI 흐름은 지금 계속 파도를 치고 있는데, 불과 한 달 전에 배운 것도 지금 와서는 이미 역사가 되어버렸기에.
그래서 내부에 AI Builders Week이라고 하고, 일주일을 통째로 잡아서 모든 팀원이 AI 교육을 받는 건 당연하고, 서로 스터디 그룹을 만들어서 대학생들처럼 같이 공부하기도 하고 심지어 미니 해커톤을 해서 뭔가를 만들어보기도 한다고 했다. "일 조금 느려져도 되니까 AI 무조건 써라." 선배는 이 일주일이 너무 짧다고 아쉬워했다.
흥미로웠던 건 특히 비개발자들의 반응이었다. "개발자들은 원래 조금씩 해 왔고, 그게 일이니까 자연스러운 건데, 비개발자들은 이런 dedicated 시간을 주니까 신나서 이것저것 하는 애들이 많아졌다"고 했다. 인식은 있었는데 못 하고 있었는데, 명분이 주어졌으니 지금 다들 미친 듯이 밤 12시까지 슬랙방이 불티하고, 또 심지어 원거리에 있으면 서로 같은 지역으로 모여서 더 빡세게 공부하고 화합하는 그림이 많다고 한다.
"이번에 합류한 팀은 굉장히 motivated되어 있어." 이유를 물어보니 프로젝트의 성격과 미션이 크다고 했다. 구글 서치는 구글의 메인 프로덕트이고, 거기에 AI를 올리고 있는 팀이니까 "we want to be the one that people go and interact and get information" 같은 mission statement가 모두의 DNA에 깊이 깔려 있는 것이다. 진정한 구글러들.
3. 더 이상 경영진이 나에게 연락하지 않는다: Agent 실활용기
구글 선배 말에 의하면 동료가 이런 발언을 했다고 한다. "지난 2주 동안 경영진이 자기한테 status를 안 물어본 게 한 10년 일하면서 처음"이라고 했다. 경영진이 직접 AI 도구에 들어가서 쿼리를 날리면 바로 상황을 파악할 수 있게 되면서, 중간에서 정리해서 전달해주던 PM의 역할이 줄어든 것이다.
이건 사실 PM이라는 역할의 존재 이유를 흔드는 변화다. PM은 기본적으로 엔지니어와 경영진 사이에서 프로그램이 어떻게 돌아가는지를 파악하고, 정리하고, 소통하는 역할이다. 그 "정리해서 소통하는" 레이어를 AI가 대신하기 시작한 것이다.
그래서 본인도 PM으로서 AI를 통해서 경영진과 엔지니어 간의 소통을 더 효율적으로 채우는 방법을 계속 고민 중이라고 한다. 예를 들어서 엔지니어가 만든 도구가 워낙 방대하고 또 복잡해서, 예전에는 그걸 본인이 만질 순 없었고, 엔지니어에게 문서화를 요청하면 그걸 본인이 이해하고, 엔지니어와 씨름하면서 경영진 친숙하게 문서를 다듬는 작업이 필요했다. 결국 경영진의 경우 이 프로젝트의 맥락에 대해서 훨씬 더 모를 테니.
근데 이제는 아예 엔지니어가 만든 도구가 있다면 본인이 데이터만 추출해서, 경영진 입장에서 중요한 내용만 따로 빼서 자기 유스케이스만을 위한 커스텀 도구나 웹 앱을 만들어서 경영진 보고에 넣는다고 한다. 이렇게 하면 장점이 크게 두 가지다. 하나는, 엔지니어와 불필요한 소통을 할 필요가 없다는 것이다. 엔지니어도 경영진 보고용 문서화에 덜 신경 써도 좋고, PM도 맥락 이해나 커스터마이징을 더 쉽고 빠르게 할 수 있다. 또 하나는, 경영진 입장에서 아무리 요약이 잘 된 문서라도 글로만 보면 잘 이해하기 어려운데, 커스텀 도구를 먼저 보고 문서를 읽으면 훨씬 더 빠르게 정확하게 이해할 수 있다는 것이다. 어떻게 보면 written summary에서 visual summary로 넘어가는 셈이다.
결국 모두를 위한 "멘탈 로드를 줄여주는" 방향으로 자기 역할을 재정의한 것이다.
4. 학계의 이론가가 창업의 빌더가 된 날
같은 날 만난 창업가 지인의 배경은 완전히 달랐다. 외고를 나와 미국에서 쭉 뉴럴 네트워크 쪽에 기반한 통계적 이론을 공부했다. 거진 10년 이상 동안 연구만 하신 분이다. 정확히 하시는 일은 나도 잘 이해하기 어렵지만, 어떤 데이터의 분포를 가정하고, 모델의 크기와 알고리즘, 데이터 양에 따라 새로운 샘플에 대해 모델이 얼마나 잘 작동하는지를 수학적으로 증명하는 연구와 dimension reduction 이론도 다뤘다. 예를 들어 100만 차원 벡터를 100차원으로 줄였을 때 발생하는 information loss에 관한 이론. 이걸 뉴럴 네트워크에 적용해서 generalization bounds를 연구하는 것이라고 한다.
참고로, 학부 시절에 한국에서 테크 기업의 인공지능 팀에서 인턴을 했다고 한다. 그 당시 막 한국에서 자체 인공지능을 만들겠다 하던 시절이었고, 초기 팀원이 6~7명이었다고 한다. 근데 아무래도 초기였다 보니 다들 도메인도 막 커머스였다가 게임이었다가, 그래서 그런지 약간의 주먹구구식이 좀 있었다고 한다. 결국 다들 서비스 배경이다 보니, 본인은 좀 더 principled한 접근, 이론 기반의 모델 개발을 하고 싶었다. 그래서 PhD까지 하게 되었다고 한다.
그런데 박사 과정을 마치고 난 뒤, 연구를 계속할 것인가 창업을 할 것인가의 갈림길에서 창업을 택했다. 여기서 AI의 역할이 컸다. 본인은 기본적으로 엔지니어는 아니고 수학과 통계 이론 배경이다. 심지어 대학원 때는 코딩을 거의 안 하고 R 같은 통계 툴만 썼다. 근데 사업을 하려면 프로덕트를 만들어야 하고, 프로덕트를 만들려면 코딩을 해야 한다. 그런데 마침 창업을 시작하는 시점에 이미 AI가 있었다. "코딩에 대한 컴플렉스 없이 되게 빠르게 내가 생각하고 있는 것들을 구현할 수 있었다"고 했다.
5. 미국 논문 학계도 바뀌고 있다
통계학이나 수학 쪽 논문은 전통적으로 이론과 증명이 핵심이다. 아이디어를 세우고, 수학적으로 증명하고, 그 뒤에 간단한 numerical experiment를 붙이는 구조다. 근데 이 실험이라는 게 과거에는 computation 자원이 제한되어 있었기 때문에 소규모 synthetic 데이터로 돌리는 정도였다. "있어도 그만 없어도 그만" 수준이었다고. 그런데 이제는 상황이 달라졌다. 데이터 자체도 예전보다 훨씬 많아졌고, computation할 수 있는 모델의 크기도 커졌다. "옛날에는 이게 안 되니까 이것밖에 할 수 없다는 변명이 있었는데, 이제는 그런 excuse가 없어졌다"고 했다. 이론이 있으면 실제로 어떤 경우에 잘 작동하는지를 computational하게 보여줄 수 있는 영역이 훨씬 넓어진 것이다.
그리고 논문을 통과하기 위한 peer review 시스템에 대한 이야기도 나왔다. AI/ML 쪽 컨퍼런스 논문 리뷰어에게 주어지는 시간이 3주 정도인데, 그 안에 논문의 수학적 증명의 correctness까지 다 검증하는 건 사실상 불가능하다고 한다. 리뷰어가 해당 논문과 정확히 같은 분야를 공부한 사람일 확률이 낮고, 랜덤으로 3명이 지정되는 구조이기 때문이다. 게다가 리뷰어 대부분이 PhD 학생이라고. 그래서 "잘 써도 안 될 확률이 있다, 운적인 요소가 크다"고 했다.
6. 프런티어 모델과 싸우는 현실
창업가 지인의 스타트업은 AI 생산성 도구를 만들고 있다. 유저가 소스 파일들을 넣으면 AI가 내러티브를 구상하고, 적합한 레이아웃을 서제스트하고, 유저가 컨펌하면 채워주는 구조다. 각 콘텐츠가 소스 파일의 어떤 부분을 레퍼런스하는지 클릭하면 바로 보여주는 게 차별점이었다.
처음에는 B2B 쪽, 그러니까 부동산 펀드의 포트폴리오 보고서 같은 걸 타겟으로 했다. 매니저들이 각자 엑셀, 워드, 노트 등 다양한 형태로 자료를 주면, 그걸 취합해서 투자자용 장표를 만들어야 하는 반복적인 업무가 있었기 때문이다. 근데 보안 이슈가 너무 컸다. 엔터프라이즈 고객일수록 데이터를 외부에 보내는 것에 대한 벽이 높았다. 그래서 좀 더 접근이 쉬운 B2C 방향으로 피봇해서 지금 다시 런칭을 준비하고 있다.
내가 이 이야기를 듣면서 공감이 됐던 이유가 있다. 우리 회사도 비슷한 고민을 하고 있기 때문이다. 우리는 AI를 활용해서 미국 정부 입찰 분야의 서비스를 만들고 있는데, 요즘 파운데이션 모델들이 니치한 비즈니스 도메인까지 너무 깊숙하게 잘하는 것이다. 몇 주 안에 계속해서 업데이트가 나오는데 그 파워가 엄청나다 보니, 언제까지 갈 수 있을지에 대한 불확실성이 늘 있다.
두 번째 고민은 얼리어답터와 나머지 사이의 갭이다. AI를 안 쓰는 사람들이 생각보다 너무 많다. 챗GPT밖에 안 쓰는 분들이 대부분이고, 이유를 물으면 "보안 때문에", "시간이 없어서"라고 하는데 솔직히 그냥 트리거가 없는 것이다. 내 친구들 중에도 AI 필드에 있는 친구와 아닌 친구가 있는데, 아무리 얘기해도 "그게 돼? 우와 신기하다. 근데 우리 회사에선 못하겠다" 하고 끝이다. 구글도 설득 못 하는 사람을 내가 가서 어떻게 설득하지가 늘 드는 생각이다.
7. 원초적으로 우리의 도파민을 폭발시켜야 한다
요즘 링크드인에서 꽤 바이럴을 탄 게시글이 있다. "콜드 메일 대신에 콜드 케이크." 말 그대로 요즘 콜드 메일은 다 씹으니까, 상대방의 관심을 살 수 있는 케이크 디자인을 해서 실제 케이크를 보내는 거다. 그러면 상대방은 신기하고 웃기기도 해서 사진 찍고 SNS에 올리면서 그게 또 바이럴이 엄청 된다. 이것만으로 월 1억 6,500만 원 이상의 매출을 내고 있는 노르웨이 스타트업인데, 지금 미국 서부에서 엄청 뜨고 있다.
사실 나도 며칠 전에 그 사람에게 DM을 받았다. 콜드 케이크하고 싶냐고. 처음에는 진짜 케이크를 말하는 건지, 은유적 뭔가 있나 싶었는데 실제 케이크였고, 지금은 a16z나 세쿼이아 같은 미국 최대 VC들도 고객으로서 자주 주문하고, 또 회사 오피스나 자동차 트렁크 앞에서 사진 찍고 그게 또 바이럴을 계속 타고 있다.
근데 웃긴 것은, 이 창업자도 실제로 여러 미국 도시에서 B2B 영업을 하기 위해 주로 부동산 기업들에게 다가가고 싶었는데 영업을 뚫기에는 콜드 메일과 콜드콜이 어려우니, 도넛을 들고 사무실에 무작정 찾아갔다고 한다. 운이 좋으면 연결이 되고, 안 되면 앞에 로비에서 막힌다고 한다.
그렇게 진짜 개고생을 하면서 현타도 많이 느꼈는데 이 케이크 글을 보면서 오히려 "아 이렇게까지 하냐" 싶은 생각이 들기도 했다고 한다.
요즘 아무튼 사람들의 attention grabbing을 해야지 비즈니스를 할 수 있는 시대가 됐다. 제품은 누구나 그럴듯하게 잘 만들 수 있는 시대가 되었다 보니, 경쟁도 더 치열해지고 소셜 미디어는 과포화된 상황이고, 나도 그들과 다르지 않은 콘텐츠나 브랜딩을 하면 먹힐 일은 없고 그저 하나의 또 다른 노이즈가 될 뿐이고.
결국 어떻게 해야지 사람들에게 원초적인 도파민을 이끌어내서 묶어두고, 그들의 관심을 비즈니스로 치환할 수 있을지가 가장 고민이 되는 거리이다.
그래서 지난 블로그에서 소개했던, 200억 투자 받은 미국 스타트업 중 위성을 띄워서 태양빛을 거울로 반사시켜 지상에 보내주는 태양빛 구독 서비스도 있었고 (밤에 구조 조난이나 영화 촬영에 쓰는 용도라고), 또 며칠 전에는 뉴질랜드에서 virtual fence라고 해서 소에게 목걸이를 걸고, 물리적 울타리 없이 전기 자극으로 영역을 관리하는 서비스도 있었다.
https://www.halterhq.com/진짜 신박하다. 뭐 실제로 얼마나 되는지 아닌지를 떠나서 이 정도 충격은 줘야지 우리가 도파민이 터지면서 더 관심을 갖게 되는 구조가 되어가고 있다.
8. AI 시대, 인간으로서 살아남기
마지막으로 구글 선배에게 물어봤다. AI가 계속 똑똑해지는데, 인간은 어떻게 계속 성장할 수 있을까. AI가 똑똑해지는 거랑 우리가 실제로 맥락을 이해하면서 성장하는 것은 또 다른 이야기니까.
선배는 자녀 이야기부터 꺼냈다. 이 아이가 크면 뭘 해야 할까를 생각한다고. 우리가 공부할 때만 해도 잘 외우고 그걸 잘 풀어내면 됐는데, 이제는 그 스킬이 쓸데없어질 거라고 했다. 대신 인문학을 더 알아야 되고, 사람을 더 잘 알아야 되고, 관계 형성을 더 잘 해야 될 거라고 했다.
선배가 정리한 문장이 인상적이었다. "Be more human in your study and personality while continuously practicing AI." AI를 쓰는 건 기본이다. 그건 계속 연습해야 한다. 대신 우리가 더 잘할 수 있는 부분, 사람들의 독창성을 끌어낼 수 있는 부분을 더 개발시켜야 한다는 것이다.
선배 자신도 그렇게 하고 있었다. AI에게 실행을 맡기고, 본인은 관계 형성에 집중한다고 했다. "실행 하느라고 사람 만날 시간이 없는 거보다, 실행은 에이전트한테 맡겨 놓고 나는 사람들한테 집중하겠다"고. PM이라는 역할이 문서 정리에서 관계 구축으로 무게중심이 이동하고 있는 것이다.
그리고 선배는 피지컬 AI를 다음 프론티어로 봤다. 지금은 LLM 얘기만 하고 있지만, 솔직히 미국에서는 LLM은 너무 오래된 역사다. 피지컬 AI가 나중에 진짜 크게 올 거라고. 근데 사실 이것도 이미 오래전 얘기고, 지금 우리가 대중적으로 못 봐서 그렇지 이미 피지컬 AI도 눈앞에 있다고. 그러면 진짜 인간으로서 우리가 뭘 해야 할지 심히 고민이 된다고 했다. 본인도 지금 2~3년 이후를 위해서 팀을 이동한 것처럼 그런 분야로 점프를 할 수 있게 지금부터 이 팀에서 발을 담가놓는 것이 중요한 것이었다.
같은 날 만난 두 사람. 배경도 다르고 위치도 다르지만, 둘 다 하고 있는 건 같았다. 계속해서 피봇하면서 적응하는 것. 아직 뚜렷한 답은 없지만, 움직이고 있었다. 빠르게, 기민하게.
마침 이 글을 쓰면서 미국인 친구한테 연락이 왔다. 실리콘밸리와 일본에서 사업을 하고 있는 친구인데, 최근에 SF, 상하이, 방콕의 AI 생태계를 쭉 돌고 서울에 들어왔다. 이 친구가 한 말이 인상적이었다.
"What I realized revisiting Silicon Valley recently is that it's not about the big AI events, it's about the near daily conversations that everyone is having in person about their latest bleeding edge learnings."
결국 중요한 건 큰 행사가 아니라, 매일같이 일어나는 대면 대화라는 것이다. 최신 기술을 서로 나누는 그 빈도와 밀도가 실리콘밸리를 실리콘밸리답게 만든다고.
나도 비슷한 생각이다. 그래서 앤트로픽(클로드) 공식 앰버서더와 함께 4월 중에 서울에서 Claude Blue/Bloom을 주제로 커뮤니티 행사를 준비하고 있다. 단순히 생산성 팁을 나누는 자리가 아니라, AI 시대를 맞이한 우리가 인간답게 사는 법에 대해, 깊이 있지만 꾸밈없이 대화할 수 있는 자리를 만들고 싶어요. 자세한 건 링크드인에서 가장 먼저 공지할 예정이다.
https://www.linkedin.com/posts/patrickwjhan