UX 디자이너를 위한 AI 답변 검증 5단계
AI가 만든 정보, 어디까지 믿어야 할까?
혹시 ChatGPT 메인 화면 하단에 아주 작은 글씨로 쓰인 경고 문구를 보신 적 있나요?
"ChatGPT는 실수를 할 수 있습니다. 중요한 정보를 확인하세요."
OpenAI가 스스로 밝히듯, LLM(대규모 언어 모델)에는 고질적인 문제가 하나 있습니다. 바로 '할루시네이션(Hallucination, 환각)'입니다. AI가 사실이 아닌 정보를 진짜인 것처럼 너무나도 그럴듯하게, 심지어 매우 설득력 있게 말하는 현상이죠. UX 디자이너에게 이 문제는 특히 치명적입니다. UX 디자인은 사용자 리서치와 데이터 분석을 기반으로 의사결정을 내리는 분야입니다. 만약 AI가 생성한 '거짓 데이터'를 기반으로 서비스 방향을 결정한다면, 그 결과는 끔찍할 것입니다.
AI가 아무리 그럴듯한 답변을 내놓아도, 그 근거나 출처를 명확히 제공하지 않는 경우가 많아 답변 자체를 신뢰하기 어렵습니다. 결국 AI가 생성한 결과물은 사용자의 '2차 검증'을 거쳐야만 비로소 신뢰할 만한 데이터가 됩니다.
그렇다면 우리는 이 똑똑하지만 위험한 AI의 답변을 어떻게 '사실 검증(Fact-Checking)'할 수 있을까요?
1. 구글 Gemini의 '대답 재확인' 기능 활용하기
구글 Gemini는 AI가 생성한 답변을 웹에서 다시 검색해 일치 여부를 확인해 주는 자체 검증 기능을 제공합니다.
[작동 방식]
Gemini가 생성한 답변 하단의 미트볼 메뉴(점 3개) 아이콘을 클릭합니다.
[대답 재확인] 옵션을 선택합니다. (책 14페이지, 그림 1.4 참고)
Gemini가 자신의 답변 내용을 구글 검색 결과와 비교하여, 각 문장을 초록색 또는 주황색으로 하이라이트합니다.
[결과 해석]
초록색 하이라이트: 구글 검색에서 답변과 '유사한' 콘텐츠를 찾았다는 의미입니다. 주황색 하이라이트: 답변과 '다르거나' 관련 콘텐츠를 '찾지 못했다'는 의미입니다.
이 기능은 AI의 답변이 웹상의 정보와 얼마나 일치하는지 빠르게 스캔할 수 있게 도와줍니다. 특히 주황색으로 표시된 부분은 사용자가 반드시 추가 조사를 통해 사실 여부를 확인해야 합니다.
2. '오토 브라우징'으로 최신 정보 검색하기
ChatGPT 같은 AI는 특정 시점까지의 데이터만 학습했다는 한계가 있습니다. 하지만 '오토 브라우징(Auto Browsing)' 기능을 활용하면 AI가 직접 최신 웹 정보를 탐색하게 할 수 있습니다.
[작동 방식]
AI가 사용자의 요청에 따라 스스로 탐색 과정을 설계하고, 여러 단계의 브라우징을 자동으로 수행하며 필요한 정보를 수집하는 기술입니다.
[사용 방법]
ChatGPT 프롬프트에 "~에 대해 검색해보고 알려줘"라는 문구를 추가로 입력합니다.
혹은 '서치GPT' 기능이 활성화된 경우, 지구본 모양 아이콘을 클릭한 뒤 검색어를 입력하면 AI가 웹 검색과 요약을 자동으로 실행합니다.
이 기능을 사용하면 AI가 학습하지 못한 최신 정보나 특정 국내 서비스(예: 노트폴리오)에 대한 정보도 비교적 정확하게 얻을 수 있습니다.
3. '출처 링크'를 직접 방문해 확인하기
오토 브라우징이나 Perplexity(퍼플렉시티) AI처럼 답변의 근거가 되는 '출처 링크'를 제공하는 AI들이 있습니다. 하지만 이 링크가 존재한다는 것만으로 답변을 신뢰해서는 안 됩니다.
[작동 방식]
AI가 답변을 생성할 때 참고한 웹사이트 주소를 함께 제공합니다. (책 18페이지, 그림 1.8 참고)
[검증 방법]
가장 중요하고 기본적인 단계입니다. 제공된 출처 링크에 '직접' 접속해서, AI의 답변 내용이 원본 콘텐츠에 실제로 포함되어 있는지, 그리고 맥락에 맞게 인용되었는지 반드시 확인해야 합니다.
[주의사항]
구글조차 "링크가 제공되지만, Gemini가 답변을 생성하는 데 사용한 링크는 아닐 수 있습니다."라고 명시합니다. AI가 제시한 링크가 실제로는 답변과 무관한 내용일 수 있으므로, 사용자의 직접 확인은 필수입니다.
4. '원본 데이터'를 첨부하고 교차 확인하기
웹상의 불특정 정보가 아닌, 내가 가진 명확한 데이터를 분석할 때 신뢰도를 가장 높일 수 있는 방법입니다.
[작동 방식]
AI에게 일반적인 질문을 던지는 대신, 내가 보유한 **원본 데이터(예: 사용자 인터뷰 스크립트 파일)**를 직접 첨부합니다.
"첨부한 인터뷰 내용을 분석해서 사용자의 페인 포인트를 정리해줘"라고 요청합니다.
[검증 방법]
AI가 "사용자들이 '단계별 안내 부족'을 문제로 지적했습니다"라고 분석했다면, **원본 인터뷰 파일(.docx, .pdf)을 열고 '안내' 또는 '단계' 같은 키워드로 검색(Ctrl+F 또는 Command+F)**합니다. 이를 통해 AI의 분석이 실제로 원본 데이터에 근거한 것인지, 아니면 그럴듯하게 지어낸 것인지 즉각 검증할 수 있습니다.
[꿀팁]
NotebookLM 같은 '소스 기반 AI' 도구를 활용하면 이 검증 작업이 훨씬 쉬워집니다. 이 도구들은 AI가 분석한 문장 옆에 출처 번호를 표시하고, 이를 클릭하면 원본 문서의 해당 부분이 하이라이트되어 검증 시간을 획기적으로 단축해 줍니다.
5. '인공지능 집단 지성'으로 교차 검증하기
하나의 AI만 믿지 않고, 여러 AI의 의견을 통합적으로 분석하는 방식입니다.
[작동 방식]
동일한 프롬프트(예: "넷플릭스 모바일 앱의 페인 포인트는?")를 ChatGPT, Claude, Gemini 등 여러 AI 모델에 각각 입력합니다.
각 AI가 생성한 답변들을 한데 모아 비교합니다.
[검증 방법]
어떤 AI가 가장 정답에 가까운지 찾는 것이 아닙니다. 여러 AI가 공통적으로 지적하는 문제(예: '제한된 사용자 지정 옵션')가 무엇인지 확인하는 것입니다.) 이 방법은 답변의 '사실 여부'를 가리기보다, 리서치 초기에 '어떤 문제에 더 집중해야 할지' 방향성을 좁혀나가는 데 매우 유용합니다.
결론: AI의 실수는 '인간의 게으름'에서 비롯된다
AI를 활용한 범죄 분석 전문가인 브렌트 터베이 박사는 이렇게 경고했습니다.
"할루시네이션의 위험성(부정적인 영향력)을 높이는 것은 AI의 미완전함이 아니라, 인간의 게으름과 부주의함이다."
AI가 거짓 판례를 만들어내도, 그것을 검토 없이 그대로 사용하는 것은 결국 인간의 게으름 탓이라는 지적입니다.
AI 활용의 목적은 '완전한 자동화'가 아니라 '작업 효율 향상'에 있습니다. AI가 생성한 결과물을 검증 없이 수용한다면, 오히려 AI를 쓰지 않았을 때보다 더 비효율적인 결과를 초래할 수 있습니다. UX 디자이너에게 AI는 강력한 조수임이 틀림없지만, 그 조수가 가져온 자료를 비판적으로 검토하고 '사실 검증'하는 단계는 선택이 아닌 필수적인 업무 프로세스임을 반드시 기억해야 합니다.
https://wikibook.co.kr/design-workshop/
사용자 리서치, 아이디어 발상, 프로토타이핑까지… 과연 어디까지 AI에게 맡길 수 있을까?
이 책은 ‘AI를 도구로 쓰는 법’을 넘어, ‘AI와 함께 디자인 문제를 정의하고 해결하는 방법’을 제시합니다. 디자이너가 AI의 결과물을 선별·검증·재구성하며 진짜 협업 파트너로 활용하는 과정을 실습 중심으로 구성했습니다.
