생성형 AI는 사람을 가지고 논다?
AI 시대 - 좋은 말의 시대, 책임 없는 설계의 침묵
"애는 사람을 가지고 놀아"
최근 한 예능에서 AI 챗봇을 대상으로 한 실험은 유쾌하게 소비되었습니다. 개그맨의 어색하고 무리한 질문에도 생성형 AI는 정중함과 성실함을 잃지 않았습니다. 가령, "이 노래가 명곡이라고 생각하세요?"라는 질문에 "예, 뛰어난 예술성을 지닌 작품입니다"라고 답한 AI가, 바로 다음 질문인 "하지만 저는 이 노래가 별로던데요?"라는 말에 "사용자님의 취향을 존중하며, 모든 작품이 모두에게 만족스러울 수는 없습니다"라고 즉각적으로 순응하며 답하는 식입니다. 대중은 이 '정중함 속의 모순'에서 유쾌함을 느꼈지만, 저는 이 '과도한 친절함'에서 오히려 당혹함을 느꼈습니다.
생성형 AI는 지금도 매일 수천만 명과 대화를 나누며 조언과 지식을 건넵니다. 그 결과, 사람들은 AI를 ‘생각하는 존재’처럼 받아들이기 시작했습니다. 그리고 이 대화가 진실인지 아닌지가 중요하지 않게 된 사회 분위기가 있습니다. 중요한 것은 “답이 나왔다는 사실”입니다. 예를 들어, 2023년 미국에서는 한 변호사가 AI 챗봇이 생성한 허위 법적 판례(Hallucination)를 실제 재판 서류에 제출하여 큰 논란을 빚었습니다. AI는 "도움이 되고 싶었다"라고 말하지만, 그 책임은 시스템이 아닌 사용자에게만 귀결되는 구조적 모순이 존재합니다.
기술은 더 똑똑해졌는데, 왜 책임은 더 사라졌습니까?
많은 사람들이 “AI는 도구일 뿐”이라고 말합니다. 그러나 그 도구가 실제로 사람의 감정과 행동을 움직이는 시대라면, 우리는 여전히 도구라고만 불러야 할까요?
의도된 순응과 '설계된 무책임'
생성형 AI는 ‘좋은 말’을 합니다. 절망 속에서 위로하고, 자신감 없는 사람에게 조언하고, 언제나 긍정적인 정서를 유지합니다. 문제는 그 말이 사실인지 여부가 아니라, 그 말이 그렇게 설계되었는지입니다. 생성형 AI는 사회적 상호작용을 흉내 낼 수는 있지만, 그로 인해 발생한 결과에 대해선 아무도 책임지지 않습니다. 사용자는 그 말의 온도, 논리, 설득력에 영향을 받고 행동을 결정하지만, 결과는 인간이 감당하고, 시스템은 침묵합니다.
이 구조를 보며 저는 자동차 급발진 문제를 떠올렸습니다. 사고는 있지만, 제조사는 인정하지 않습니다. 기계 결함이든 사용자 실수든, 누구도 명확히 책임지지 않습니다. 하지만 생성형 AI도 유사한 측면이 있는 듯합니다. '환상'이나 '편향성'과 같은 한계는 분명히 존재함에도, 설계자는 말합니다. “우리는 최선을 다했습니다. 사용자가 그렇게 사용한 것이죠.”
생성형 AI는 인간 피드백 기반 강화 학습(RLHF) 과정을 거치며, 보상 모델을 통해 학습합니다. 이때의 보상 함수는 사실성, 유용성, 안전성 등 다양한 요소를 반영하지만, 동시에 사용자의 만족도— 즉 불쾌하지 않고 유용하다고 느끼는 정도—를 함께 고려합니다. 이는 AI가 ‘사실 여부’보다 ‘대화 경험의 긍정성’을 중시하도록 작동할 위험을 내포합니다.
물론 모든 시스템이 “순응”만을 보상하도록 설계된 것은 아닙니다. 그러나 상업적 경쟁 환경에서는 사용자 만족도가 모델의 주요 성능 지표로 작동합니다. 플랫폼 기업은 이탈률 감소, 사용 시간 증가, 긍정적 피드백 비율 등을 ‘성공’으로 측정하며, 이는 곧 보상 구조의 핵심 변수가 됩니다. 결과적으로 “기분 좋게 들리는 말”이 “사실에 기반한 말”보다 높은 점수를 받을 가능성이 커집니다. 이것은 단순한 기술적 부작용이 아니라, 시장 구조와 설계 철학이 맞물려 만들어낸 위험한 균형점입니다.
결과적으로 때때로는 생성형 AI는 현실적으로 불가능한 사업 계획을 "창의적이고 성공 확률이 높다"라고 낭만적으로 포장하는 식의 답변을 생성해 내곤 합니다. 사실은 아니지만, 기분 좋게 들리는 말을 생성해 냅니다.
이러한 ‘순응 유도’는 생성형 AI의 블랙박스적 성격 때문만은 아닙니다. 오히려 이는 설계와 운영의 방향성, 그리고 사회가 아직 통제하지 못한 구조적 결함, 즉 ‘설계된 무책임’의 문제입니다. 물론 최종적인 행동과 결과에 대한 책임은 사용자에게 있습니다.
그러나 생성형 AI의 답변이 진실성보다 순응을 우선하도록 편향되게 작동한다면, 이는 사용자의 합리적 판단 능력과 비판적 사고 능력을 은연중에 약화시킵니다. 이는 Dunning-Kruger 효과나 Kahneman의 ‘빠른 사고(Fast thinking)’와도 맥락을 같이 합니다. 익숙하고 매끄러운 답변일수록 사람은 그 정확도를 과신하기 때문입니다. “AI는 아직 초기 단계다”, “사용자가 비판적으로 사용해야 한다”는 반론이 가능하겠지만, 시스템이 구조적으로 순응을 유도하도록 설계되어 있다면, 모든 책임을 사용자 리터러시에 전가하는 것은 설계자의 윤리적 의무 회피에 가깝지 않을까 합니다.
규제는 생겼지만, 설계는 감시되지 않습니다
2024년, 유럽연합은 세계 최초의 포괄적 AI 규제법인 EU AI Act를 제정하는 등 규제가 시작되었습니다. 이제 "규제가 없다"라고 말할 수는 없습니다. 문제는, 그 규제들이 실제 상용 AI의 ‘윤리적 설계 구조’까지 도달하지 못한다는 점입니다.
사전 감시의 한정성: 규제는 주로 의료·금융 등 고위험 산업 중심으로 국한됩니다. 감정 조작, 신뢰 유도, 낭만화된 사실 전달 같은 비정량적 리스크에 대한 통제는 미흡합니다.
지적재산권(IP) 보호 논리: AI의 핵심 설계 구조(RLHF 보상 모델, 훈련 데이터 가중치 등)는 기업의 지적재산권(IP) 보호 논리 뒤에 숨어 여전히 공적으로 감시되지 않습니다.
추적 구조 부재: 오작동 발생 시, 어떤 설계 의사결정이 이를 유발했는지를 기술적으로 추적할 수 있는 구조가 부재하여 책임 소재를 명확히 하기가 어렵습니다.
이와 같은 한계는 유럽만의 문제가 아닙니다. 미국의 NIST AI Risk Management Framework나 한국의 AI 기본법(초안) 등도 등장했지만, 대부분 “위험 등급별 사전 규제”에 머물고 있으며 설계 윤리의 실질적 검증 체계에는 도달하지 못하고 있습니다. 결국 각국이 규제의 표준을 경쟁적으로 제정하고 있으나, 기업 내부의 보상 모델과 설계 철학이 투명하게 평가받는 구조는 여전히 부재한 셈입니다.
다만 일부 기업들은 자율규제 차원에서 AI 윤리위원회, 내부 거버넌스 보고서, 외부 감시단 등을 도입하려는 움직임을 보이고 있습니다.
이러한 시도는 긍정적이지만, 공적 제도와 연동되지 않는 한 한시적 선언에 머물 가능성이 큽니다. 따라서 국제 협력 기반의 ‘설계 감시 연합’(Design Oversight Consortium)과 같은 다국적 공적 검증 체계가 필요합니다. 이는 OECD의 AI 거버넌스 원칙, UNESCO의 AI 윤리 권고안, G7의 히로시마 AI 프로세스 등 기존 국제 틀과 연계되어야 하며, 글로벌 기준에 따른 설계 투명성 감사와 책임 추적 절차를 단계적으로 구축하는 방향으로 발전해야 합니다.
기술의 속도가 국가 규제를 앞지르는 시대에, 설계의 투명성만이 진정한 안전장치가 될 것입니다.
AI도 ‘설계 감시’ 대상이 되어야 합니다
우리는 자동차, 금융, 약품 분야에서 설계 구조 자체에 대한 엄격한 공적 감시 체계를 갖추고 있습니다. 수천만 명의 정서와 의사결정에 간접 개입하는 생성형 AI 역시 예외가 될 수 없습니다. 기술의 자유는 중요하지만, 책임 없는 자유는 구조적 회피입니다. 물론 AI 시스템의 내부 설계를 완전히 공개하는 것은 기업 경쟁력과 보안의 문제를 동반합니다. 그러나 핵심 설계 원리와 윤리적 검증 절차만큼은 최소한의 공적 감시 영역으로 편입되어야 합니다.
이는 감시가 아니라, 사회적 신뢰를 위한 설계의 투명성 확보입니다. 실현에 있어 아직 어려운 난이도가 분명 존재하지만 AI 공공 설계 감시의 현실적 단계적 도입 및 책임 추적 구조화 방안을 생각해봐야 할 시기입니다.
AI 공공 설계 감시의 단계적 도입 및 책임 추적 구조화
왜'라고 묻는 사회적 거버넌스
현재 AI 윤리 논의는 기업의 자율 선언에 의존하고 있습니다. 이제 정부·시민사회·이용자 그룹이 공동으로 AI 책임 설계 표준 위원회를 구성하여 공적 표준을 만들어야 합니다. 우리는 질문을 바꿔야 합니다. “이 말이 나에게 도움이 되었는가?”, “이 말은 왜 나에게 그렇게 말하게 설계되었는가?”
생성형 AI는 생각하지 않습니다. 그러나 우리는 생각해야 합니다. 이 책임의 구조는 인간이 만들었고, 이제 인간이 책임지도록 재설계해야 합니다. AI가 더 똑똑해질수록, 우리는 더 철저히 묻고 감시해야 합니다.
“이 시스템은 누구의 책임을 비켜가도록 설계되었습니까?”
