AI 시대,퀄리티 있는 대답을 못 꺼내는 이유
10%의 허상으로 후려쳐진 50%의 인간이 해야하는 튜닝 노동
검색 속도만 빨라진 스택오버플로우
AI가 상용화된다고 해서 누구나 퀄리티 있는 대답을 꺼낸다 말할 순 없다. 냉정하게 말해서, 결국 좋은 질문이란 좋은 지식과 확고한 경력, 경험이 가져다주는 인사이트를 통해 나온다. 생성형 AI가 만들어내는 것은 그저 덤프(dump)된 드래프트일 뿐, 이걸 가위질하고 정리할 줄 아는 실력이 AI의 능력치를 결정한다.
AI가 주는 좋은 점? 검색 속도가 빨라진다는 것.
단점은? AI 결과물은 오답과 정답이 혼재된 스택오버플로우의 검색 결과와 다를 바가 없다. 점성술 차트를 예로 들어보자(데이터과학 석사과정 울면서 진행하는 인간이 왜 점성술이라는 주화입마에 빠졌는가는 일단 제외하고).
당신이 챗지피티나 제미나이를 통해 유튜브에서 시키는 대로 자세하게 당신의 차트를 뽑아 질문창에 넣으면?
유튜브에서 이렇게 하면 사주에 대해서 점성술에 대해서 더 자세한 해석을 얻을 수 있다-며 차트를 자세하게 뽑아 질문창에 넣는 방법을 공유해준다. 하지만 결과는 반은 단식 판단이고 반은 포괄적이지 못해서 해석의 오류를 낳는다. 한동안 이거 때문에 내 점성술 해석이 이게 맞냐고 나에게 지피띠니가 읖어준 텍스트를 던져서 참 많은 사람을 손절했다...징글징글.
나는 점성술을 어느 정도 알기에 정확히 바닥부터 컨설팅 리포트를 작성할 수는 없지만 에이전트 챗과 계속 대화를 하며 맞는 방향으로 튜닝을 하고 그렇게 점차적으로 대답들을 갈고 닦는다. 이런 퀄리티 있는 대답을 얻으려면 결국은 질문을 하는 사람이 중간 이상의 지식을 갖고 계속 중간과정에서 응답-질문-반론의 과정을 통해 매질 좀 해야한다.
개발을 할 때도 마찬가지다. AI를 쓰면 쓸 수록 아 이건 오답과 정답이 혼재된 스택오버플로우의 검색과 다를바가 없군이란 생각이 든다. 좋은 점은 검색속도가 빨라진다는 것이고 단점은 모든 케이스를 일일이 임플먼트하면서 디버깅 혹은 교정을 해야하는데 AI와의 협업 작업 특성상 점진적 중간 인터벤션을 가지며 튜닝을 할 기회가 적기에 정보를 취합하고 교정하는 최종 검수에서 많은 번아웃을 느낄 수도 있다는 점이다
오류를 잡고 맞는 방향으로 튜닝을 하려면, 결국 질문을 하는 사람이 중간 이상의 지식을 갖고 있어야한다.
AI는 책임 없이 주도권을 앗아간다
최근 업계에서 '전문가의 가치는 나머지 10%의 미세조정(Tuning), 맥락 부여, 그리고 최종 책임에 있다'는 말이 유행한. 맞나? ㅋ. 솔직히 동의할 수 없다. 데이터 과학을 공부하고 모델을 개발하며 느낀 건, 튜닝 과정 및 데이터 클리닝이 50% 이상을 차지한다는 진실이다...ㅋ...ㅋ...ㅋㅋㅋㅋㅋㅋ 정작 드래프트를 만드는 데 걸리는 시간은 전체 작업 시간의 2~30%에 불과하다.
AI에게 맡길 때 이미 기존에 존재하는 포맷과 정형된 목적값만 가지고 있는 업무, 즉 저 2~30%의 작업인 경우엔 작업량이 확실히 빨라질 수 있다. 그러나, 사람들은 드래프트를 만드는 것만이 업무라고 착각하지, 그에 필요한 리서치, 자료 정리, 클린업, 프리프로세싱, 튜닝 과정은 스코프(Scope) 안에 넣지 않는다. 이 작은 파이가 빨라졌다고 해서 "AI가 모든 일을 다 처리해서 사람이 할 일이 없다"라는 착각을 한다.
AI는 보조 도구일 뿐, 실제 프로덕션에서 그대로 차용해서 쓸 수는 없다. 문제는 생성 모델이 이러한 과정의 생략을 부추기면서 인간에게 작업 제작의 주도권은 앗아가는데 비해 책임만 던지는 형국이 된다는 거다. 프로젝트의 목표를 완벽히 이해하고 AI와 인간의 역할을 분배하여 전체 워크플로우를 설계하는 총괄 설계자가 되지 않는 이상, 결국 우리는 책임만 덤탱이 쓰는 바지 사장이 될 지도 모른다. 실제로 그런 경우를 겪는 시니어 개발자들 지못미...
문해력 하락이 가져오는 퀄리티 후려치기
진짜 징징대서 죄송하지만, 가장 우려되는 지점은 평균적인 세계 인구의 문해력(Literacy)이 낮아져 분석 인지 지능이 떨어져 가는 것이 눈에 보인다는 거다. 문제가 발생하거나 이를 해결할 때 무엇이 적절한 상품과 정보인지 아닌지 구별을 하기 힘들어할 것이다.
시장은 "AI로 이 정도 나왔는데, 왜 더 비싼 돈 주고 전문가를 써야 하나요?"라는 인식에 쉽게 잠식될 것이다. 문해력이 낮은 의사결정자는 AI가 만든 그럴듯한 답변(Low-Quality Dumped Draft)을 인간 전문가의 튜닝된 답변(High-Quality Tuned Answer)과 구분하지 못하게 된다. 이는 결국 퀄리티를 챙기는 인력에 대한 존중과 보상을 후려치는 결과를 산업에 가져올 것이고 나는 AI의 발전보다 이게 더 두렵다. 한가지 엠바고를 말하자면, 3년 전부터 꾸준하게 데이터나 인프라 보안 쪽은 무분별한 LLM AI 배포와 사용처 확장에 항상 비판을 해왔다. 하지만 그 누구도 들어주지 않았고 이제와서 우리들보고 왜 이런 사단이 벌어질 때까지 가만있어냐네요..아놔...
‘Reading In’의 번아웃과 미리 빼다 써먹는 성장 연금
테크니컬한 스킬에 대한 수요가 낮아지는 문제는 피할 수 없을 것이다. 다만, AI 대신 하나하나 사람이 손으로 테크니컬한 걸 러닝 커브를 밟으며 스몰 스텝부터 시작해 스케일 업 하는 과정에서 사람은 성장을 하고 자기 나름대로의 개개화된 워크플로우 최적화를 스스로 발전하고 겪으며 이뤄낸다. 이 과정을 뺏는 것은 당장 가시적인 생산성을 늘릴 순 있겠으나, 장기적으로는 나 자신이 그간 쌓아올 성장의 기회라고 불리는 미래의 연금을 땡겨 쓰는 것과 다름없다.
모두가 빠른 Writing Out에만 집중해 하이프(Hype)에 젖어 있다. 허나 대부분의 문제 해결은 Reading In에서 벌어진다. 그리고 이 Reading In은 오롯이 사람의 몫이다. 이 Reading In 업무에 적절한 작업 시간과 리소스를 분배하지 않으면, 인력들은 리딩 인지 번아웃을 쉽게 겪을 수 있다. 실제로 링크드인을 눈팅하다보면 반응들이 확실히 반으로 갈린다. 본인이 코드의 퀄리티를 책임질 이유가 없는 마케터, 프로덕트 오너, 플랫폼 애널리스트, 총괄 디자이너. 그 반대편엔 본인이 파이프라인의 끝에 있어서 배포할 때 가장 먼저 빠따를 맞...아 아니, 액맞이를 하는 실무진 개발자나 디자이너, 그리고 하드스킬을 다루며 데이터 클리닝도 같이하는 애널리스트들. 후자에 속한 사람들은 주니어들이나 혹은 타부서의 협업자들이 맥락과 맞지 않게 조립한 '바이브 코딩'의 결과물을 다시 피드백 주고 추려내는 과업의 번아웃에 시달려 업계를 탈주하는 경우를 종종 본다.
AI를 통해 기대하는 인간의 기대치는 인간이 타고난 인지적 설계와 다르다. 인간은 과정의 즐거움이 제공될 때 성장을 하고 생산성을 가져온다. 그 즐거움과 실패로 인한 경험의 자원을 뺏는 것은 생산성을 가져오는 것이 아니라, 노후의 연금을 미리 뺏어서 나의 성장 자원을 끌어다 소진하는 것일 뿐이다. 묻지 않은 조언이 나의 성장과 발전을 가로막듯 원치 않게 강요하는 생산성 툴은 장기적으로는 산업의 성장과 진정한 생산성을 가져온다 생각은 하지 않는다. 그래도 다행인 건 링크드인에선 불과 몇개월전만해도 하이프로 매번 탐라가 시끄러웠는데 큰 보안 문제 몇번 터지고 점점 뒷수습의 파이가 커지니까 그렇게까지 하이프가 이제 잦지는 않다.
뭐 여전히 시끄럽긴 해서 링크드인 자주 안 들어가보게 되지만.
당신들의 생각은 어떠한가. 그래도 예전에 비해서 최근은 내 생각과 동의하시는 분들이 점점 늘어가는 게 보인다.
참고로 말하지만 나는 AI를 쓰지 말자는 입장이 아니다. 나는 그 기술을 나쁘다는 것이 아니라 사용해야할 곳과 아닌 곳을 적절히 구별해서 비현실적인 기대치를 아무대나 들이대지 말고 정확히 프로젝트 scope를 이해해서 적용 범위를 규정을 하고 몇번의 시행 후 케이스바이케이스로 어떤 결과의 평균점을 기록하고 공유하는 프로세스가 기업문화에 트렌드로 잡아야한다는 입장이다.
이렇게 말하면 누구는 나보고 Anti-AI라고 부르고 누구는 나를 기술 맹신주의에 찌든 테크브로(일단 브로가 아니지 말입니다)라 부르니 참...세상 만사 모든 건 흑과 백이 아닌 스펙트럼이며 맥락에 따라 어느 스펙트럼이 올바른 방향인지 그때그때 다르다는 걸 항상 명심하고 살아야겠다.
특히 비지니스 오너들, 네-너님들이요...본인들은 작업 결과에 책임 안 지고 실무진에게 다 떠넘기는 너네들이요.
