제발 chatGPT로 쓴 이력서, 내지 마세요
요약3줄
1. chatgpt로 만든 복붙 이력서 1초 만에 걸러집니다
2. 퍼소나, UT를 AI로 대체하는 건, 사용자 리서치가 아니라 그럴듯한 시뮬레이션입니다.
3. AI를 다 쓸 거면, AI 뽑죠. 판단과 책임은 결국 사람의 몫입니다! 평가받는 것도 결국 사람입니다. 보조로만 쓰세요.
이력서에 ChatGPT 그대로 쓰지 마세요.
AI가 문제라기보다, AI를 쓰는 방식이 문제입니다. 최근 금융회사 이력서 리뷰를 도와주게 됐습니다. 솔직히 말하면, 다 티가 납니다. 문장 구조, 톤, 표현이 놀라울 정도로 비슷해요. 어디서 많이 본 말들, AI가 좋아하는 단어들이나 문장들입니다.
LLM(chatgpt, gemini등) 모델의 학습 데이터가 영어권 텍스트다 보니 영어식 논리 연결이 그대로 남아있습니다. 대표적인 게 not only A but also B 패턴인데요. 실제로 이 표현을 기준으로 이력서 검색해 보면 수천, 수만 건이 그대로 걸립니다. 모두 다 영문 문장을 한글로 번역하기 때문에 정말로 티가 많이 나요.
더 황당한 경우도 있었습니다.
어떤 분은 같은 창에서 복붙 했는지, 금융회사 지원서에 "금융광고대행사에 지원합니다"라는 문장이 그대로 들어가 있더라고요. 아마 광고대행사 이력서랑 금융권 이력서를 같은 chatgpt 창에서 돌리셨겠죠. 프롬프트만 바꾸고, 검토 안 하고 그대로 복붙. 확인 한번 하지 않았다는 그 태도... 그 회사에 대해 그만큼 애착이 없었던 걸로 이해하면 되겠죠.
UT를 왜 하나요? 퍼소나 AI? 참..
더 심각한 건 UX 영역입니다. 요즘 퍼소나를 AI로 만들어서 그대로 UT(사용성 테스트)까지 돌리는 경우를 종종 봅니다.
묻고 싶네요. 그럼 UT를 왜 하나요? 그럴듯한 답변을 얻기 위해서인가요? 아니죠. UT는 실제 사람이 실제 맥락에서 실제로 망설이고, 헷갈리고, 포기하는 지점을 보기 위해 하는 겁니다.
LLM은 찐 유저가 아녜요
LLM은 '그럴싸한 인간처럼 말하는 엔진'이지, 찐 유저가 아닙니다. chatgpt, google gemini 등등 LLM 모델 들은 기본적으로 할루시네이션(거짓 생성)을 내포합니다. 그래서 주식 투자도 잘 못해요. 사주도 다 틀리고요. 투자 대회에서 chatgpt는 -25% 만들기도 했어요. LLM은 그럴듯하게 말하는 전문가인척 연기하는 모델입니다. 진짜 아니에요.
AI 퍼소나 UT는 리서치가 아닙니다
어떤 회사 유튜브에서, ChatGPT에 퍼소나를 먹여서 UT를 시안으로 돌렸다는 얘기도 있었는데요. 이건 사용자 리서치가 아니라 시나리오 소설에 가깝습니다.
AI가 생성한 퍼소나는 실제 사용자 행동과 큰 차이를 보입니다. 최근 생성형 AI의 발전으로 퍼소나를 생성할 수 있게 되었지만, 실제 사용자 리서치를 대체할 수 없는 근본적인 한계를 가지고 있습니다. LLM은 패턴 매칭을 하는거라, 진실과 거짓을 구분하는 능력이 없고, 학습된 데이터 내에서 그럴듯한 다음 단어를 예측할 뿐입니다. 모르는 걸 모른다고 말하는게 아니라, 그럴듯한 답변을 만들어내죠.
그리고 AI는 기쁘게 하려는 성향 때문에 모든 아이디어가 좋아 보인다고 이야기합니다. (닐슨 노만 그룹의 연구)
LLM으로 만든 퍼소나는 실제 보다 더 성공적이고, 사회적으로 의식적인 프로필을 만들기도 했습니다 (콜룸비아 대학 연구).
AI만으로 페르소나를 생성하고, 실제 사용자 검증없이 사용하거나, AI 에이전트로 사용성 테스트를 대체하고 실제 사용자 테스트를 생략하는 것 모두 AI 활용의 잘못된 것이라고 볼 수 있습니다.
실제 사용자 데이터 없이 AI가 생성한 가상 데이터로 의사결정을 하는 것이 맞을까요..?
마무리.
AI활용능력은 AI를 어디에 쓰면 안 되는지를 아는 능력도 포함합니다. AI를 배워서 AI처럼 말하기 위해서가 아니라, AI로는 절대 이야기할 수 없는 여러분의 가치있는 경험과 시선을 더 정확하게, 더 잘 전달하셨으면 좋겠어요.
