AI한테 뭘 맡겨도 되고, 뭘 맡기면 안 될까
AI시대의 사람의 역할
AI에게 일을 맡기기 시작하면, 처음에는 감탄의 연속입니다. 데이터를 정리해달라고 하면 몇 분 만에 끝내고, 매일 아침 뉴스를 요약해서 보내주고, 엑셀 파일 수십 개를 한 번에 분석합니다. "이걸 왜 직접 하고 있었지?" 싶은 순간이 옵니다.
그런데 어느 날, 묘한 불안감이 찾아왔습니다.
"30개 수집 완료했습니다!"
AI 봇이 자신 있게 보고해왔습니다. 공공데이터포털에서 인기 데이터 30개를 모아오는 작업이었는데, 결과를 열어보는 순간 얼어붙었습니다. 첫 번째 항목, "공공데이터포털". 두 번째, "국가중점데이터". 세 번째, "이슈 및 추천데이터". 열여섯 번째는 웹사이트 프로그래밍 코드 조각이었습니다.
데이터가 아니라, 사이트의 메뉴 목록을 그대로 긁어온 것이었습니다.
만약 결과를 열어보지 않았고 "30개 완료"라는 보고를 그대로 믿고 다음 단계로 넘어갔다면? 잘못된 데이터 위에 분석을 쌓고, 그걸 바탕으로 글까지 쓸 뻔한 것이었습니다.
"뭔가 이상한데" 하며 직접 사이트에 들어가봤습니다.
화면에는 "소상공인 상가 정보, 조회수 53만"이 선명하게 보이는데, AI가 가져온 파일에는 그런 건 하나도 없었습니다. 원인은 의외로 단순했습니다.
그 사이트는 화면이 뜬 다음에 데이터를 불러오는 구조였는데, AI는 화면이 뜨기 전 단계의 빈 껍데기만 읽은 것이었습니다.
AI는 아무 문제 없다고 생각했습니다.
30개를 요청받았고, 30개를 가져왔으니까요.
자기가 가져온 게 진짜인지 가짜인지는 판단하지 못했습니다.
그때 깨달았습니다. "완료"와 "정확"은 전혀 다른 문제라는 것을요.
이 글은 그 경계선에 대한 이야기입니다.
AI에게 뭘 맡겨도 되고, 뭘 맡기면 위험한지. 직접 부딪혀보고 나서야 알게 된 것들을 정리해봤습니다.
[ 실제 정상적으로 적재한 내용 ]
맡기고 나서 달라진 하루
오해하지 않으셨으면 합니다.
이런 실수가 있었다고 해서 AI에게 일을 맡기지 말라는 이야기가 아닙니다.
솔직히 말하면, 맡기기 전으로 돌아가고 싶진 않습니다.
예를 들어보겠습니다. 전국 창업/폐업 데이터를 분석하는 일이 있었습니다.
음식점, 학원, 출판사 등 195개 업종의 파일이 있었는데, 이걸 하나씩 열어서 월별 건수를 세고, 전월과 비교하고, 특이한 변화를 찾아내는 작업입니다. 사람이 하면 며칠은 걸릴겁니다. 스프레드시트를 열고, 닫고, 또 열고.
AI에게 맡기니 몇 분이면 끝났습니다.
솔직히 처음에는 "이게 진짜 다 된 거야?"라고 의심했습니다.
195개 파일을 읽고, 월별로 정리하고, 급증하거나 급감한 업종까지 자동으로 찾아낸 결과가 파일 하나로 도착했습니다. "온라인 쇼핑몰 창업이 압도적 1위", "출판사 신규 등록이 평소의 7배 급증". 사람이 이틀 걸릴 작업이 정리되어 눈앞에 있었습니다. 감탄이 나왔습니다.
매일 아침 투자 브리핑도 그렇습니다. 보유 종목 시세, 관련 뉴스, 오늘 일정까지 정리해서 보내줍니다. 예전에는 출근길에 앱 세 개를 번갈아 열어보던 시간이 사라졌습니다. 하루에 한두 시간은 확실히 아꼈습니다.
문제는, 이 편리함에 익숙해지면서 생겼습니다. "알아서 잘 하겠지"라는 믿음이 커질수록, 결과를 확인하는 과정을 슬슬 건너뛰게 되더군요. 그리고 그게 사고로 이어졌습니다.
맡겼다가 데인 것들
창업/폐업 데이터를 분석하던 때 일입니다. 데이터에는 각 행마다 "신규 등록"인지 "정보 수정"인지를 구분하는 항목이 있었습니다. AI는 이걸 보더니 "신규 등록으로 표시된 건수를 세면 그 달의 창업 수를 알 수 있겠다"고 판단했습니다. 그럴듯했습니다. 저도 "오, 똑똑한데?"라고 생각했습니다.
그런데 결과를 보니, 2018년 8월에 "신규 등록"이 수만 건이었습니다.
그해 8월에 갑자기 창업 붐이 일었던 걸까요?
아닙니다.
알고 보니 그건 정부가 시스템을 처음 만들면서, 이미 등록되어 있던 사업자 수십만 건을 한꺼번에 입력한 시점이었습니다. 10년 전에 등록한 음식점도, 5년 전에 문 연 학원도, 전부 2018년 8월에 "신규"로 찍힌 겁니다.
조금 걱정이 되었습니다. 만약 이걸 그대로 분석에 썼다면 "2018년 8월, 역대급 창업 붐"이라는 완전히 잘못된 결론이 블로그에 실릴 뻔한 것입니다. AI는 숫자의 패턴은 정확하게 읽었지만, "이 숫자가 왜 이렇게 몰려 있는가"라는 뒷사정은 전혀 몰랐습니다.
그래서 어디까지 맡길 수 있는가
몇 번 데이고 나니, 감이 잡히기 시작했습니다.
AI에게 맡겨도 되는 일과 사람이 끝까지 봐야 하는 일 사이에는 꽤 명확한 경계선이 있었습니다.
아래 세 가지의 기준점을 제안합니다.
되돌릴 수 있는 일인가.
데이터를 모으고 정리하는 건 맡겨도 됩니다. 결과가 이상하면 다시 하면 되니까요. 하지만 그 결과를 바탕으로 글을 발행하거나 보고서를 보내는 건 다릅니다. 한 번 나간 글은 되돌리기 어렵습니다.
틀렸을 때 바로 알아챌 수 있는가.
사이트 메뉴를 데이터로 가져왔던 그날, 결과 파일을 열어보지 않았다면 그냥 넘어갔을 겁니다. 그 뒤로는 AI가 결과를 보고할 때 처음 몇 개 항목을 미리 보여주도록 바꿨습니다. 10초만 훑어봐도 "이거 아닌데?"를 잡아낼 수 있으니까요. 작은 습관 하나가 큰 사고를 막았습니다.
맥락을 이해해야 판단할 수 있는 일인가.
"신규 등록이 진짜 그달의 창업을 뜻하는가?" "1900년대 날짜를 빼야 하는가?" 이런 질문에 답하려면 데이터 너머의 이야기를 알아야 합니다. 그 시스템이 언제 만들어졌는지, 데이터가 어떤 과정으로 쌓인 것인지. AI는 패턴을 찾는 데는 탁월하지만, 그 패턴이 무엇을 의미하는지 해석하는 건 여전히 사람의 몫이었습니다.
한 가지 흥미로웠던 건, AI가 같은 실수를 두 번 하지 않더라는 점입니다. 한 번 잘못 쓴 항목은 "다시는 쓰지 말 것" 목록에 스스로 추가하고, 이상한 날짜는 자동으로 걸러내도록 바뀌었습니다. 한 번 데이고 나면 그 부분만큼은 사람보다 꼼꼼해집니다. 하지만 처음 데이는 건, 결국 사람이 잡아줘야 합니다.
돌이켜보면, 데이터의 오류를 발견한 순간에 필요했던 건 더 뛰어난 AI가 아니라, 결과를 한 번 들여다본 사람이었습니다.
AI를 잘 쓴다는 건 많이 맡기는 게 아니라, 잘 나누는 것이었습니다. 반복 작업은 맡기되, 마지막 확인은 직접 하는 것. "완료했습니다"라는 보고를 믿되, "이게 맞아?"라고 한 번은 물어보는 것. 사람의 역할이 줄어든 게 아니라, 실행에서 판단으로 바뀐 것이었습니다.
그리고 저는 이 경계선을 알게 된 뒤로 AI가 훨씬 더 믿음직해졌습니다.
맡겨도 되는 영역이 분명해지니, 그 안에서는 마음 놓고 맡길 수 있게 된 것입니다.