모르는 것을 안다고 착각하는 시대
AI가 낸 리서치 조사에 도끼눈을 뜨고 판단해야하는 이유
과거 컨설팅 기업들은 수많은 자료조사를 담당하는 대학생 인턴들을 채용했었다. 흔히 RA라고 부르는데 이름 자체가 Research Assistant로 자료조사를 담당한다. 컨설팅 기업들이 뭔가를 판단하기 위해서 많은 다양한 자료를 보고 정리하는데 구글링이나 레포팅들을 뒤져볼 사람들이 필요했기 때문에 RA라는 인턴을 채용해서 프로젝트 기간 내 자료조사같은 것들을 시켰다. 그런데 요즘은 그럴 필요가 없어지고 있다고 한다.
과거에도 구글링이 제일 큰 자산이었지만, 지금은 AI의 '딸깍'이 너무나도 쉽게 리서치를 대신해주고 딥리서치 기능까지 쓰면 엄청난게 긴 리포트들을 만들어주니까.
컨설턴트들도 본인들이 그냥 AI를 잘 쓰는게 더 빠른 시대가 되었으니까.
그런데 그래서 그럴까. 오히려 과잉 정보때문에 문제가 되는 상황들이 눈에 보인다. 주니어에게 리서치겸 학습을 시키기 위해서 과제를 줬을 때, 그저 딸깍하고 나온 거대하고 많은 자료들을 그대로 복사-붙여넣기한 노션 문서를 줄줄 읽는 것을 보자면, 논리적으로 보이고 그럴 듯하게 보이지만 종종 방대한 자료에 압도당하기만 했다는 느낌을 받기도 하다. 서칭이나 문서화는 너무나 쉽다. 내가 주장하는 논리가 애매모호해도 AI가 하도 그럴듯하게 보강해주기 때문에 우리는 모두 맞는 말을 하고 맞는 판단을 하는 것처럼 보인다.
그런데 우리 회사 비즈니스를 몰라서 전제조건을 제대로 전달하지 못했거나, 실제 자동하는 사람들의 기조가 아니라 누구나 뻔하게 이야기할 수 있는 수박 겉핥기식 과다한 정보의 수집을 했다든가. 아니면 할루시네이션이라기 보다는 실제 자료를 바탕으로 가져오는 과정에서 말문이 꼬여서 의도가 왜곡되게 내려진 AI의 리포트의 문제를 잡아내지 못한다.
한마디로 도메인 지식이 없어서 AI의 리포트 결과를 판단하지 못하는 것이다.
최근 참여한 AI시대의 PM/PO 밋업에서 내가 발표를 한 후에 별도의 질문을 받았는데 딱 이 부분에 대한 오해였다. 그 질문의 요지는 이랬다.
"발표한 3명의 연사들이 모두 AI시대에 오히려 도메인 지식은 유효하다고 하셧지만요. 요즘은 대학교 석박사도 필요없고 AI면 된다는 말도 있던데, 도메인 지식이 필요없어지는 날도 올까요?"
이 말은 반은 맞고 반은 틀리다. 만약에 그냥 이커머스에 입사하면 딱 고객 수준으로 사용성 정도만 알지 서비스나 비즈니스 정책의 이유나 구조는 하나도 모른다. 이 때 AI를 이용하면 대체로 아주 평이한 수준의 통상적인 정책에 대해서는 알 수 있다. 하지만 그 이커머스에서 판매하는 상품이 특정 규제가 별도로 존재한다거나 그 회사의 서비스를 사용하는 사용자들이 특수한 집단적 성향을 띄고 있다거나 하는 아주 구체적인 사항들은 AI를 사용하는 사용자가 AI보다 먼저 이해하고 있지 못하면 올바른 대답을 받을 수가 없다.
갑사에서 일할 때 외주 기획자를 쓰려면 가장 중요한 부분은 외주기획자보다 훨씬 더 많이 알아야 한다는 점이다. 그래서 제대로 된 산출물이 필요하게 나왔는지 판단해서 추가로 요청하고 지시할 수 있기 떄문이다. 그런데 그건 AI라고 하는 것도 마찬가지다. 오히려 융통성이나 먼저 해주는 것도 없는 기계이기 떄문에 본인이 더 잘 알지 못하면 그것 실제로는 이용하고 있는게 아니라 가비지 정보가 산적하는 것이나 마찬가지다. 그저 재밌어서 리포팅하는 것에 시간을 너무 쏟는 것은 의미가 없다.
비즈니스라면 실제 운영을 해봐야 아는 것이고, 사용자에 대한 조사는 먼저 질문을 하는 것이 딥리서치보다 필요한 액션이다.
너무나 쉽게 나름대로 전문적인 형태의 답변들을 받을수 있기에 그걸 잘 아는 것처럼 착각하기 쉽지만. 무언가 아무리 많은 정보가 있어도 진척하는 과정에서 누군가가 자꾸자꾸 되묻고 이해하지못하고 있고 질문을 받았을 때 내가 그걸 대답하지 못해서 AI를 또 시켰을 때 이전과 묘하게 자꾸 결과가 변경되기 시작했다면, 탄탄한 질문의 흐름을 설계하지 못했기 때문이다. AI는 그 범주를 잘 가두는 것이 가장 중요하다. 그리고 그 범주를 가두기 위해서는 도메인 지식 활용이 필요하다.
그리고 인정해야한다. 이 리포트 내가 쓴거라고 말하려면 얼마나 기여를 해야할지 그 기준을 가지고 있어야 한다.
