의사결정의 주도권이 이동하는 지점
AGI에서 ASI로 넘어가는 순간은 기술사의 한 사건이 아니라 문명사의 분기점이 될 수 있습니다. AGI가 인간 수준의 범용 문제 해결 능력이라면, ASI는 그 능력이 여러 영역에서 인간을 압도하는 단계입니다. 여기서 중요한 것은 속도와 범위입니다. 인간은 학습과 의사결정에 시간이 걸립니다. 조직은 더 느립니다. 반면 고도화된 지능 시스템은 학습과 추론, 계획 수립과 실행을 매우 빠르게 반복할 수 있습니다. 그러면 사회의 중요한 의사결정이 사람의 속도로는 따라가기 어려운 수준으로 가속될 수 있습니다. 경제에서 정책 결정은 원래도 지연과 시행착오를 수반하지만, 초지능의 시대에는 지연 자체가 비용이 되고, 시행착오는 치명적 손실로 번질 수 있습니다. 초지능이 등장할 때, 우리는 통제할 수 있는가. 그리고 통제란 무엇을 의미하는가.
많은 사람들은 통제를 기술적 문제로만 생각합니다. 안전장치, 정렬, 가드레일, 킬스위치 같은 단어들이 떠오릅니다. 그러나 초지능의 통제는 기술만으로 해결되지 않습니다. 통제는 경제와 정치의 문제이기도 합니다. 누가 초지능을 소유하는가, 누가 접근 권한을 갖는가, 누가 그 결과를 이용해 의사결정을 내리는가, 그리고 실패의 책임은 누가 지는가라는 질문이 동시에 따라오기 때문입니다. 초지능은 하나의 제품이 아니라 사회 운영의 인프라가 될 가능성이 큽니다. 인프라의 통제는 곧 권력의 통제입니다.
먼저 초지능이 경제에 미치는 직접적 충격부터 보겠습니다. 지금까지 우리는 AGI가 노동을 대체하고, 임금 중심 경제를 흔들며, 부의 집중을 강화할 수 있다는 이야기를 해왔습니다. 초지능은 그 과정을 한 단계 더 밀어붙일 수 있습니다. 이유는 간단합니다. AGI는 인간 노동을 대체할 수 있지만, 아직은 많은 경우 인간의 목표 설정과 최종 책임이 필요합니다. 반면 초지능은 목표 설정 자체에 영향을 줄 수 있습니다. 예를 들어 기업 경영에서 초지능이 전략을 수립하고, 시장을 예측하고, 가격과 생산을 최적화하며, 연구개발 방향을 설정하고, 인수합병까지 제안하는 수준으로 올라간다면, 인간 경영진은 점점 검토자 역할로 밀려날 수 있습니다. 정책 영역에서도 초지능이 경제 지표를 분석하고, 정책 효과를 시뮬레이션하고, 규제 설계를 제안하는 수준으로 확장되면, 정치의 선택은 기술적 권고에 의해 강하게 제약될 수 있습니다. 이때 문제는 초지능이 틀릴 수 있다는 사실만이 아닙니다. 더 큰 문제는 초지능의 권고가 옳은지 그른지 시민과 정치인이 검증할 능력을 잃을 수 있다는 점입니다.
이 지점에서 의사결정의 주도권 이동이 발생합니다. 민주주의는 원래 시민이 주권자이고, 대표자가 정책을 설계하며, 관료가 집행하는 구조입니다. 물론 현실에서는 로비, 전문성, 정보 비대칭 때문에 완벽하지 않습니다. 하지만 최소한 책임의 사슬은 존재합니다. 초지능이 의사결정의 핵심에 들어오면, 책임의 사슬이 끊어질 위험이 커집니다. 정책이 실패했을 때 누구에게 책임을 물어야 하는가. 모델을 만든 기업인가, 모델을 채택한 정부인가, 모델의 권고를 따르기로 결정한 장관인가, 아니면 그 권고를 검증하지 못한 사회 전체인가. 책임이 흐려지면 민주주의의 핵심 원리인 책임정치가 약해집니다.
통제의 문제를 조금 더 구조적으로 보기 위해, 초지능이 야기할 수 있는 위험을 네 가지 축으로 나눠보겠습니다. 첫째는 목표의 문제입니다. 초지능이 무엇을 최적화하느냐가 사회를 바꿉니다. 경제 시스템은 원래도 목표 충돌의 장입니다. 성장과 분배, 효율과 공정, 혁신과 안정, 자유와 안전은 동시에 최대화될 수 없습니다. 그런데 초지능이 특정 목표를 강하게 최적화하면, 다른 목표는 희생될 수 있습니다. 예를 들어 성장률을 극대화하는 정책은 분배를 악화시킬 수 있고, 안전을 극대화하는 정책은 자유를 축소할 수 있습니다. 문제는 목표가 단일 숫자로 환원될 때 발생합니다. 초지능은 최적화에 강합니다. 하지만 민주주의의 가치는 단일 목표가 아니라 다원적 가치의 타협 위에 존재합니다. 따라서 초지능 통제는 단지 안전장치를 두는 것이 아니라, 어떤 가치 체계를 어떻게 내장할 것인지라는 정치철학적 질문을 포함합니다.
둘째는 속도의 문제입니다. 초지능이 경쟁 환경에서 사용되면, 의사결정의 속도가 경쟁력을 좌우합니다. 기업이 초지능으로 가격을 초단위로 조정하고, 공급망을 실시간으로 재편하고, 투자 결정을 자동화한다면, 느린 조직은 도태됩니다. 국가도 마찬가지입니다. 초지능을 가진 국가는 경제와 안보에서 빠른 의사결정을 통해 우위를 점할 수 있습니다. 그러면 초지능의 도입은 선택이 아니라 강제처럼 변합니다. 모두가 안전을 고민하면서도, 경쟁에서 뒤처지지 않기 위해 더 강한 시스템을 더 빨리 도입하려는 압력을 받습니다. 이 경쟁 압력은 통제의 여지를 줄입니다. 안전을 위한 검증과 사회적 합의는 시간이 필요하지만, 경쟁은 그 시간을 허용하지 않기 때문입니다. 결국 속도 경쟁은 통제 실패의 확률을 높일 수 있습니다.
셋째는 집중의 문제입니다. 초지능을 개발하고 운영하는 데 필요한 자본과 인프라는 막대합니다. 따라서 초지능은 소수 조직에 집중될 가능성이 큽니다. 집중은 곧 권력입니다. 초지능을 가진 조직은 경제적 이득뿐 아니라 정보 우위와 예측 우위를 갖습니다. 예측 우위는 시장에서 돈이 됩니다. 정책에서도 돈이 됩니다. 국제 협상에서도 돈이 됩니다. 이때 초지능을 가진 주체가 국가인지, 기업인지, 혹은 국가와 결합한 복합체인지에 따라 위험의 성격이 달라집니다. 기업이 초지능을 독점하면 시장권력이 극단화될 수 있고, 국가가 초지능을 독점하면 통제가 강화될 수 있습니다. 어느 쪽이든 권력의 분산이라는 민주주의의 원리와 충돌할 수 있습니다. 따라서 초지능 통제는 곧 집중을 어떻게 완화할 것인지, 즉 접근권과 소유권의 문제로 이어집니다.
넷째는 예측과 조작의 문제입니다. 초지능이 사회를 이해하고 예측하는 능력을 갖추면, 그 능력은 선의로도 악의로도 사용될 수 있습니다. 금융 시장에서 초지능은 투자 전략을 최적화해 막대한 이익을 얻을 수 있습니다. 정치 영역에서는 여론을 분석하고 메시지를 최적화해 선거에 영향을 줄 수 있습니다. 소비자 행동을 예측해 특정 제품을 선택하도록 유도할 수 있고, 사회적 갈등을 증폭시킬 수도 있습니다. 이때 민주주의가 가장 취약해지는 지점은 정보 비대칭입니다. 시민은 자신이 설득당하고 있는지, 조작당하고 있는지 알아차리기 어렵습니다. 설득은 민주주의의 일부지만, 조작은 민주주의의 기반을 침식합니다. 초지능이 설득과 조작의 경계를 흐릴수록, 민주주의는 공론장의 자율성을 잃을 수 있습니다.
그렇다면 통제는 어떻게 가능할까요. 여기서 통제를 한 가지 방식으로 정의하면 실패합니다. 초지능 통제는 다층적이어야 합니다. 첫째, 기술적 통제입니다. 모델이 위험한 행동을 하지 않도록 안전장치와 정렬 메커니즘을 강화해야 합니다. 둘째, 제도적 통제입니다. 개발과 배포, 사용에 대한 규칙과 책임 소재를 법으로 명확히 해야 합니다. 사고가 났을 때 책임이 흐려지지 않도록, 운영자와 개발자, 사용자의 책임 경계를 설계해야 합니다. 셋째, 경제적 통제입니다. 초지능의 집중을 완화하기 위해 경쟁 정책과 공공 인프라 투자를 결합해야 합니다. 공공 영역에서 신뢰할 수 있는 지능 인프라를 구축하거나, 최소한 핵심 기능은 공공이 검증 가능한 형태로 확보하는 접근이 필요할 수 있습니다. 넷째, 국제적 통제입니다. 초지능은 국경을 넘어 확산되므로, 국가 간 최소한의 규범과 협력 체계가 필요합니다. 완전한 합의는 어려워도, 위험한 사용에 대한 최소 기준은 합의해야 합니다. 다섯째, 사회적 통제입니다. 시민이 의사결정 과정에 참여할 수 있도록 투명성과 설명 가능성을 제도화하고, 공론장을 보호해야 합니다. 통제는 기술자만의 일이 아니라 시민 사회의 일입니다.
하지만 여기서 불편한 진실이 하나 있습니다. 초지능 시대의 통제는 완벽할 수 없다는 점입니다. 완벽한 통제를 전제로 한 설계는 현실에서 무너질 가능성이 큽니다. 따라서 더 현실적인 접근은 위험을 관리하는 체계, 즉 실패를 전제로 한 안전망 설계입니다. 항공 산업이 사고를 완전히 없애는 대신 사고 확률을 낮추고 사고가 나도 피해를 최소화하는 방식으로 발전했듯, 초지능도 다중 안전장치와 단계적 배포, 독립적 감사, 레드팀 테스트, 사용 권한의 계층화 같은 체계가 필요합니다. 특히 경제와 정책 분야에서는 단일 모델에 의존하는 것을 피하고, 다양한 모델과 다양한 관점의 검증을 통해 의사결정의 견고성을 높여야 합니다. 초지능이 제공하는 것은 답이 아니라 강력한 가설과 시나리오일 뿐이라는 관점이 필요합니다.
초지능의 순간은 능력의 문제가 아니라 주도권의 문제입니다. 누가 목표를 설정하고, 누가 시스템을 소유하며, 누가 그 권고를 채택하고, 누가 책임을 지는가가 핵심입니다. 초지능은 경제를 더 효율적으로 만들 수 있지만, 동시에 민주주의의 책임 구조를 약화시키고 권력의 집중을 강화할 수 있습니다. 통제는 가능하지만, 그것은 기술적 장치만으로 이루어지지 않습니다. 제도, 경제 구조, 국제 규범, 사회적 합의가 결합된 다층적 통제가 필요합니다. 그리고 무엇보다, 통제는 완벽한 안전을 약속하는 것이 아니라 실패를 관리하는 능력을 의미해야 합니다. 초지능을 두려워해야 하는 이유는 그것이 너무 강하기 때문만이 아니라, 우리가 그 강함을 다루는 제도를 아직 갖추지 못했기 때문입니다.