누가 제도를 설계하는가
AI 제도의 설계는 지금 진행 중이고, 아직 굳어지지 않았다. 초기 조건이 설정되는 시기에 "누가 설계하는가"를 묻는 것과, 제도가 굳어진 후에 묻는 것은 의미가 다르다. 지금이 그 초기 조건이 설정되고 있는 시점이다. 그런데 이 질문을 묻는 사람이 거의 없다. AI에 대한 공론장은 "AI가 세상을 구원한다"와 "AI가 인류를 멸망시킨다" 사이를 오가고 있고, "누가 제도를 설계하고, 그 사람의 가치관이 왜 중요한가"는 양쪽 모두 다루지 않는 질문이다.
"AI를 어떻게 규제할 것인가"는 1차 질문이다. "어떤 제도를 만들 것인가"는 2차 질문이다. "왜 이 제도가 필요한가"는 3차 질문이다. 하지만 어떤 제도를 만들든, 그것을 만드는 사람의 가치관이 제도의 방향을 결정한다면, 제도의 내용을 논하기 전에 설계자의 구성을 논해야 한다. "누가 설계하는가"는 그 위에 있는 질문이다.
이에 대해 좀 더 깊이 상상해보면, 후보는 여럿이다. 민주적 입법 과정, AI 기업의 자율 규제, 국제기구의 가이드라인. 하지만 어떤 형식을 택하든 결론은 같다. 법안을 초안하는 사람, 기업의 안전 정책을 결정하는 사람, 국제 가이드라인의 프레임워크를 짜는 사람은 결국 같은 유형의 소수라는 것이다. AI의 기술적 복잡성과 사회적 함의를 동시에 이해하는 사람. 형식이 민주주의든 기업이든 국제기구든, 실질적 설계자는 항상 Constructor이다. AI의 기술적 복잡성이 일정 수준을 넘으면, 그것을 이해하지 못하는 사람은 설계에 실질적으로 참여할 수 없다.
이처럼 소수가 제도를 설계하는 일은 역사적으로 반복된 구조다. 문제는 그 소수가 누구의 이해를 대변하느냐에 따라 결과가 완전히 달라졌다는 것이다. 미국 헌법을 설계한 것은 소수의 건국자였지만, 그들은 권력의 집중이 위험하다는 것을 알았기 때문에 삼권분립을 만들었다. 반면 소련의 경제 체제를 설계한 것도 소수의 전문가였지만, 그들은 중앙 계획의 효율성을 과신했고 결과적으로 수억 명의 삶을 왜곡했다. 소수가 설계하는 것 자체가 문제가 아니라, 그 소수가 자신의 한계를 아는지, 자기가 대변하지 못하는 사람들의 현실을 의식하는지가 문제다.
실제로 일어나고 있는 일을 살펴보자. Sam Altman은 2026년 인도 AI Impact Summit에서 IAEA와 유사한 국제 AI 감독 기구를 제안하면서, 초지능의 권력이 한 기업이나 국가에 집중되면 "파멸"이라고 말했다. 동시에 OpenAI의 2026년 최우선 과제가 기업 고객 매출이라고도 말했다. 민주적 거버넌스를 주장하면서 동시에 8,300억 달러 기업가치를 추구하는 것. 이 둘 사이의 긴장을 어떻게 해결할 것인지는 말하지 않았다. 알트먼은 "The Gentle Singularity"이라는 에세이에서 2030년대에도 사람들이 여전히 가족을 사랑하고 호수에서 수영할 것이라고 썼다. 이는 불편한 변화를 편안하게 포장하는 내러티브에 해당한다.
Dario Amodei는 다른 위치에 서 있다. 2026년 1월 "The Adolescence of Technology"라는 에세이에서 그는 AI 기업 자체가 위험이라고 경고했다. AI 기업들은 거대한 데이터센터를 통제하고, 수억 명의 사용자에게 매일 접촉하며, 원한다면 사용자를 세뇌할 수도 있다고. AI 회사의 CEO가 AI 회사가 위험하다고 말하는 것은 이례적이고, 그 솔직함은 인상적이다. 하지만 한 달 뒤 Anthropic은 경쟁 압박을 이유로 자체 안전 정책의 핵심 조항, 통제 능력을 초과하는 모델의 훈련을 중단한다는 약속을 철회했다. 안전을 최우선으로 내세운 회사가 시장 경쟁 앞에서 스스로 그 원칙을 완화한 것이다.
결국 제도를 설계하는 Constructor의 가치관이 중요하다는 말은 맞지만, 그 가치관은 진공 속에 존재하지 않는다. 시장 경쟁, 투자자 압력, 정부의 요구. 아모데이처럼 위험을 진지하게 인식하는 사람조차 경쟁에서 살아남아야 한다는 압박 앞에서 원칙을 조정했다. 알트먼처럼 민주적 거버넌스를 주장하는 사람도, 기업 매출이라는 현실 앞에서 두 개의 이야기를 동시에 할 수밖에 없다.
AI 시대에는 이게 더 심해진다. 기존 제도 설계에서는 설계자와 피설계자가 같은 종류의 존재였다. 인간이 인간을 위한 제도를 만들었다. 하지만 AI 시대의 제도 설계자는 인간과 AI 사이의 관계를 설계해야 하고, 이것은 한쪽의 역량이 압도적으로 빠르게 변하는 비대칭적 관계다. 오늘 설계한 제도가 2년 후에는 무의미해질 수 있다. 이 속도의 비대칭 때문에 "좋은 제도를 한번 잘 만들면 된다"는 접근이 통하지 않고, 제도를 지속적으로 수정할 수 있는 사람이 사실상의 권력을 갖게 된다.
답은 아직 없다. 하지만 예측은 해볼 수 있다. AI 시대의 제도는 소수의 Constructor가 설계하게 될 것이고, 그 소수가 어떤 가치를 가진 사람들이냐가 나머지 모든 사람의 삶을 결정하게 될 것이다. 우리 세대가 할 수 있는 일이 있다면, 그 자리에 앉는 사람이 어떤 가치를 가져야 하는지를 지금 이야기하는 것이다. 그리고 가능하다면, 직접 그 자리에 앉는 것이다.