원자폭탄의 아버지로 불리는 오펜하이머가 주도한 맨해튼 프로젝트 목적은 순수한 것이었습니다. 그것은 최대한 빨리 객기를 부리는 일본의 항복을 받아내어 전쟁을 조기종식시키고 더 이상의 인명피해를 막는 것. 그러나 그것은 역설적으로 핵전쟁과 인류 전체의 멸망이라는 또 하나의 가능성을 현실화시켜 버립니다.
오펜하이머(출처 : John Rooney)
마찬가지로 인공지능 기술 개발의 의도 역시 순수한 것입니다. 인류의 생활을 편하게 해주는 것. 누군가에게는 의미 없는 고된 노동에서 해방시켜 주는 것이 바로 그것입니다. 인공지능 그 자체는 악한의도도 선한 의도도 가지고 있지 않습니다. 그러나 인공지능은 기술 특성상 핵무기와 마찬가지로 우리를 통제불능의 상태에 빠뜨릴 가능성을 가지고 있습니다.
인공지능과 디스토피아에서 다루었듯이 거대 기업들로 이루어진 인공지능 카르텔은 부의 양극화를 심화시키며 인간의 존재가치에 대한 위협이 될 수 있습니다. 이번 시간에는 인공지능의 보다 본질적인 위협인 통제불능에 대해 살펴보고 이를 통제하기 위한 세계 각국의 노력에 대해 소개하겠습니다.
1. 블랙박스 모델과 통제불능
현대 인공지능에 활용되는 알고리즘은 퍼셉트론과 심층신경망(DNN, Deep Neural Network)에 기반하고 있습니다. 인공신경망은 기본적으로 그 계산 과정을 알 수 없는 블랙박스 모델입니다. 따라서 역설적으로 기술이 발전하면 할수록 점점 더 인공지능이 어떠한 사고 프로세스를 거쳐서 최종 판단을 내리는지 알 수 없게 됩니다.
출처 : linkedin(Justin S.)
예를 들어 심층신경망에 기반한 이미지 분류모델에 고양이 사진을 인풋값으로 넣었을 때 모델이 그것을 강아지로 분류하는 이유를 알 수 없습니다. 마찬가지로 챗GPT에게 저녁메뉴를 추천해 달라고 부탁했을 때 우리는 GPT가 어떤 프로세스로 그것을 추천해 주는지 알 수 없습니다.
이러한 현상은 심층신경망의 구조를 뜯어보면 쉽게 이해할 수 있습니다. 심층신경망은 무수히 많은 은닉층(hidden layer)을 가지고 있습니다. 각 레이어는 노드의 집합으로 구성되어 있으며 하나의 노드는 f(x) = w*x+b라는 식을 가집니다. 문제는 은닉층이 하나의 수식이 아닌 꼬리의 꼬리를 물고 연결되어 있다는 점입니다. 이전 노드의 계산값의 출력값은 다음 노드의 입력값이 되는 구조입니다.
매개변수(parameter)와 훈련 데이터가 늘어남으로써 점점 더 정교한 추론(inference)이 가능한 생성형 AI의 등장은 분명 우리 삶을 점점 더 편하게 해주고 있습니다. 하지만 동시에 블랙박스 모델이 우리 삶의 깊숙한 부분에 침투하고 익숙한 업무를 대체함으로써 점점 더 통제 불가능한 상황으로 만들어가고 있습니다.
모델의 설명가능성(AI explainability)은 딥러닝 개발에 있어서 매우 중요하게 다루어지는 개념 중 하나입니다. 그러나 점점 더 커지는 모델의 계산 로직을 설명하기는 점점 더 불가능에 가까워지고 있습니다. 이러한 인공지능의 개발 방향은 핵융합의 연쇄분열과도 닮아있습니다. 설명력을 잃은 채 성능만 좋아진 모델은 궁극적으로 우리 인류를 혼란에 빠뜨리고 엉뚱한 길로 인도하게 될지 모릅니다.
2. 인공지능 규제는 꼭 필요할까?
인공지능 개발 규제는 왜 필요한 것일까요? 그 이유는 바로 인공지능 기술 자체가 점점 더 블랙박스화 되는 방향으로 발전하고 있기 때문입니다. 만약 의료, 자율주행, 법 등 우리 생활에 중대한 영향을 미칠 수 있는 분야에 보급된 인공지능이 점점 더 우리가 모르는 프로세스를 바탕으로 잘못된 판단을 내린다면 우리 사회는 머지않아 통제불능 상태에 빠지게 될 것입니다.
2024년 3월 EU 의회는 세계 최초로 AI를 규제하는 법안을 가결했습니다. 최종안은 AI 활용 분야를 네 단계의 위험 등급으로 나누어 차등 규제하는 내용을 담고 있습니다. 법안 내용을 들여다보면 고위험 등급으로 분류되는 의료, 교육을 비롯한 공공 서비스나 선거, 자율주행 등에서 AI 기술을 사용할 경우, 사람이 반드시 감독하고 위험관리시스템을 구축해야 한다는 내용으로 구성되어 있습니다.
출처 : Telefónica
EU 인공지능 규제 방안의 목적은 명확합니다. AI가 우리 생활에 폭넓게 적용되면서 개인정보가 유출되고 통제 불가능성에 빠지는 상황을 막기 위해 AI를 활용할 때 인류에게 잠재적인 위협이 될 수 있는 요소를 사전에 단계별로 관리하자는 것입니다. 취지는 매우 좋습니다.
하지만 모든 규제가 그렇듯 EU의 규제법안도 기술의 발전속도를 늦추거나 발전 자체를 저해합니다. 규제는 지금 당장 그 영향을 곧바로 체감할 수 있을 정도로 우리 생활에 직접적인 영향을 미치고 있습니다. 예를 들어 유럽의 소비자는 당장 규제의 영향으로 GPT-4o가 탑재될 예정인 아이폰 16의 인공지능 기능을 사용할 수 없습니다.
3. 인공지능의 연쇄 핵분열
영화에서 오펜하이머와 연구진들은 원자 폭탄 개발에 있어서 핵분열이 사슬처럼 꼬리에 꼬리를 물고 연이어 일어나는 '핵분열 연쇄반응' 현상을 발견하고 큰 고민에 빠집니다. 오펜하이머와 연구진은 단일 원자폭탄의 '핵분열의 연쇄 반응이 끝나지 않고 지구 대기가 폭발할 수도 있을까?'라는 질문에 대한 답을 찾기 위해 고심합니다.
Chain Nuclear Fission Reaction (출처 : studymind)
다행히도 이론상 존재하던 연쇄분열반응의 우려는 실제 핵실험에서는 일어나지 않습니다.그러나 진짜 위협은 전혀 예상하지 못한 방식으로 일어났습니다. 원자폭탄이 일단 만들어지자 그걸 계기로 보다 많은 나라들이 원자폭탄의 개발, 보유에 연쇄적으로 뛰어드는 '핵무기 경쟁(nuclear arms race)'과 '핵확산(nuclear proliferation)'의 시대가 도래하여, 말 그대로 핵전쟁이 일어나 세상을 멸망시킬 수 있는 현실로 나타나고 있기 때문입니다.
인공지능 개발의 초기 목표는 순수했지만, 원자폭탄과 같이 실제로는 끔찍한 결과를 초래할 수 있습니다. 따라서 규제는 인공지능 기술이 사회에 부정적인 영향을 미칠 가능성을 줄이기 위해 필수적입니다. 그러나 기술 발전과 규제 사이에는 균형을 맞추는 것이 핵심입니다. 방종은 우리를 순식간에 통제불능 상태에 빠지게 할 수 있지만 지나친 규제는 기술발전을 저해할 수 있기 때문입니다.