편견 없는 인사이트를 위한 AI 도움 받기
회사 연구에는 어떤 식으로 활용할 수 있을까
AI(인공지능)가 쓰일 수 있는 분야가 참 다양하다. 오늘 NLP(자연어 처리)에 관한 분석 보고서를 보다가 갑자기 든 생각
기존의 방법은 아래와 같다.
1. 일단 데이터를 다 모은다
2. 어떤 인사이트를 찾는다
3. 가능성에 대해 검토한다
4. 괜찮으면 더 진행한다
5. 개발로 이관.
대충 이런 프로세스. 연구주제를 뽑을 때도 이와 다르지 않다. 관심 있는 키워드로 관련 동향과 논문 조사를 먼저 하고, 그 안에서 이런 걸 하면 좋겠는데.. 하는 아이디어를 몇 개 뽑는다(아이디어의 도출은 집단 지성을 활용하기도 하고 철저히 개인 의존적이기도 하다). 가설을 검증하는 간단한 실험으로 방향성을 한번 더 확인해서 괜찮다 싶으면 다음 단계로 넘어가는 그런 스텝들.
그런데 초반에 들어가는 중요한 인풋 중의 하나로 '데이터를 일단 모으고, 어떤 인사이트를 찾는' 과정이 AI를 쓰면 대폭 달라질 수 있다. 우선 제대로 된 그리고 방대한 데이터를 모으는 것 자체가 일이다. 예전에 이런 일을 하다 보면 몇 년도 이후 연구내용 부터 언제까지로 하자, 이렇게 정했었다. 노동집약적인 프로세스다 보니 한계를 둘 수 밖에 없다.
무엇보다 어떻게 그것을 분류하고 정리하느냐, 결정적으로 그 안에서 인사이트를 어떻게 찾아낼 것이냐가 중요한데, 지금의 방법은 한계가 있다. 데이터를 수집하는 과정부터 개인의 편견이 반영되기 시작한다. 예를 들어 검색을 통해 나온 데이터 (주로 페이퍼 (논문))를 선택하는 단계에서 데이터 수집자의 관심이나 이해도 여부에 따라 채택, 중요성에 대한 정도가 달라진다. 연구자의 이해도 뿐 아니라 논문을 쓴 그룹이나 연구자의 권위에도 편견이 반영되기 쉽다. 그렇게 모인 데이터를 분석할 때도 당연히 일방적인 시선은 계속된다. 일전에 인사이트를 뽑을 때 직관의 힘을 더 믿는다고 말한 적이 있다. 데이터는 그걸 더 확실하게 지지해 주는 '확증 편향을 위한 도구'로 쓰일 때도 있다고 말했다.
그런데 오늘 AI 보고서를 보면서 그런 생각이 들었다. 지금의 방식이 최선이 아니지 않을까? 예전의 나는 기계가 할 수 있는 수준에 한계가 있기에, 당연히 경험을 많이 해 본 '사람'의 사고와 결론이 더 적합하다고 생각해 왔었다. 일종의 '내가 해봐서 아는데' 마음가짐 이었던 셈이다. 기계는 정말 기계적으로(?) 인사이트를 뽑는다는 편견을 가지고 있었다. 하지만 AI는 이미 인간이 이해하거나 알고 있는 수준을 뛰어넘고 있어서 사람보다 못할 이유가 없다. 오히려 사심 가득하게 뽑아내는 인사이트는 과연 미래의 기술 예측이나 우리의 전략적 방향을 제대로 리드할 수 있는 것일까? 개인과 소수 집단의 편견으로 인해 중요한 기술 개발 전략, 시장 대응 전략이 실패할 가능성은 없을까? 객관적 데이터의 힘을 믿는 연구자로서 너무 방만한 생각에 사로잡힌 것은 아니었나 싶다.
이런 프로세스와 방법론은 신약 개발에 익히 도입이 되어 활용되고 있다. 여러 단계에서 쓰이고 있지만 앞서 말한 데이터 수집만 해도 사람이 하면 얼마나 걸릴지 모를 일을 순식간에 해낸다. 한번에 100만 건 이상의 논문 탐색도 가능하다고 한다 (물론 이후에 필요한 데이터마이닝이 더 중요하겠지만). 시간도 시간이지만 개발에 필요한 자원 투자도 당연히 줄어든다. 이런 사실들을 보고 있노라면 기업의 연구원이 앞으로는 어떤 일을 해야 차별화 된 포지션을 가질 수 있을지 심히 고민된다. 소비재 회사의 연구직으로 AI가 내 일자리를 침범하고 있지는 않다. 여전히 할 일은 남아 있다. 기계가 대체할 수 없는 연구의 영역 (예를 들어 직접 실험을 수행해야 한다던가)이 분명히 있다. AI는 최적의 실험을 위한 조건을 잡거나, 훨씬 더 효과적인 실험 설계를 위한 방면에서 사용될 수 있다. 설사 AI가 중요한 연구 인사이트를 도출한다고 해도 그걸 다시 검증하는 작업은 결국 (아직은) 사람의 몫이다.
보고서의 마지막에 있는 take away가 인상적이다.
인공지능은 (인간을) 대체하는 것이 아니라 (부족한 인간의 한계를) 확장하는 것이다. 그리고 이런 것을 받아들일 수 있는 '문화'를 갖추어야 한다. 제대로 분석이 이뤄지도록 데이터의 소스를 중요하게 다루고 모아라.
내가 하는 일에 완전히 연결된 내용은 아니었지만 뭔가 뒤통수를 한 대 맞은 기분이 들었다. 언젠가 우리 회사의 연구방법에도 본격적인 AI 도입이 될 터인데, 반항하고 거부하기 보다는 어떻게 받아들이고 활용할지를 찬찬히 고민해 두고 싶다.
