AI 맹신(盲信)의 위험성

GPT가 일상인 시대, 공유드리고 싶은 생각의 한 조각

모두 그간 잘지내셨는지요?

2025. 7월. 무더운 여름이 본격적으로 시작되는 것 같습니다.

짧게 소식 공유드리면, 저는 여전히 AI & Crypto / Legal Tech 업계에 있고, 새롭게 합류한 로펌에서 기업/크립토/국제계약 등 법률 업무도 부지런히 수행하며 지내고 있습니다.

많이 부족하지만, 앞으로 AI & Crypto 및 스타트업/기업 법률 등 인사이트나 생각 등을 기록용으로라도 자주 작성하려고합니다.

오랜만에 복귀한 첫 글로 발전한 AI를 맹신하는 위험성에 대해 짧게 이야기 나누고 싶습니다.

AI 관련 글을 쓴지 벌써 2년이 지났네요. 지난 2년간 AI는 그야말로 "눈부시도록" 발전했습니다.

수치로보면, 파라미터는 거의 3~4배 증가했고, 오히려 더 컴팩트하고 효율성을 극대화한 모델들까지 나왔죠. 확실히 AI 성능이 좋아졌습니다. 저도 프로 버전으로 자주 활용하고 있고, 다른 모델을 교차로 활용하고 있습니다.

하지만, 주변에 몇몇 분들이 AI를 잘 활용하시는 것을 넘어서 "신뢰", 그리고 더 나아가 이번 글의 제목처럼 "맹신(盲信)"까지 하는 경우를 보곤 합니다.

저희 법조계에서는 가장 중요한 것이 한가지 있습니다.

"출처와 근거"

영미법 쪽에서는 출처의 "Authority" 가 어떠한지에 따라 서면의 주요 주장(Argument)의 설득력이 달라집니다. 꼭 법률과 같은 도메인의 뎁스가 있는 영역이 아니더라도, 저는 주변분들에게 AI를 업무에 활용시에 답변의 출처와 근거를 꼼꼼하게 확인해보는 것을 권해드리곤 합니다.

그 이유는, LLM의 답변은 어디까지나 확률론적, 데이터 학습 기반의 답변이 근간이라는 사실입니다.

LLM의 핵심을 요약하면, "단어 시퀀스의 확률 분포"

위 예시 그림에서 보시는 것처럼 개가 << "꼬리를" >> 흔든다 라는 문장에서 "꼬리"는 0.99 즉, 거의 1에 수렴하는 것을 볼 수 있습니다.

물론, 신뢰성과 환각 현상을 최소화하기위해 요즘 AI 플랫폼에서는 웹서치, 검색결과 출처 기반을 지원하고 기업이나 기관 내부적으로는 RAG 또는 더 발전된 기술인 GraphRAG, 추론(Reasoning)에 특화한 언어모델 (ex.Magistral)를 사용하는 시도가 있지만 이것 역시 아직 완전한 수준은 아니며 출처와 근거를 확실하게 검증하지 않고 그것이 사실이라고 믿어버린다면, 이것이 습관화된다면 위험할 수 있습니다.

추후 AI 관련 최신 참고하시면 도움이될만한 글, 별것 없지만 제가 활용하는 방법등에 대한 공유 내용도 정리해볼까 합니다.

그럼 무더운 여름 모두 오늘도 화이팅입니다!