윤리적 실천을 위해서는 이익과 윤리가 정렬(align)되어야 한다
4편.
1편에서 3편까지 우리가 한 작업을 요약하면 이렇다. 윤리는 이익구조로부터 독립적인 자율 규범이 아니라, 이익의 기회비용이라는 중력장 안에서 작동하는 종속변수에 가깝다(1편). 이 종속성은 역사적으로 반복되는 패턴 — 정당화 기계 — 을 통해 체계적으로 작동해왔다(2편). 그리고 이 패턴은 정량적으로 추적 가능하며, "윤리 붕괴점"이라는 비선형 임계치의 존재를 보여준다(3편).
이 진단이 옳다면, 처방의 방향은 자명하다. 윤리를 더 강하게 설교하는 것은 답이 아니다. 설교는 기회비용 곡선을 이동시키지 않는다. 아무리 열정적으로 정의를 외쳐도, 구조적 인센티브가 비윤리적 행동을 보상하는 한, 그 외침은 공기 중에 흩어진다. 우리에게 필요한 것은 설교가 아니라 설계다.
이 글의 핵심 테제는 이것이다: 이익구조와 윤리규범이 같은 방향을 가리키도록 정렬(align)시키는 것이야말로 윤리적 실천의 유일하게 지속 가능한 조건이다.
"정렬(alignment)"이라는 단어를 의도적으로 선택했다. 이 단어는 현재 AI 안전 분야에서 가장 뜨거운 개념이다 — AI 시스템의 목적함수를 인간의 가치와 의도에 "정렬"시키는 것이 인공지능 안전의 핵심 과제라는 것이다. 이 유비(analogy)는 단순한 수사적 장치가 아니다. AI alignment 문제와 윤리-이익 정렬 문제는 구조적으로 동일한 문제다: 최적화 시스템(AI든 기업이든 국가든)의 목적함수가 인간의 가치와 어긋날 때, 그 시스템은 인간에게 해로운 결과를 효율적으로 생산한다. 해법도 동일하다 — 목적함수를 바꾸거나, 목적함수의 제약 조건을 바꾸거나, 둘 다.
정렬에는 세 가지 경로가 있다. 인센티브 설계, 제도적 강제, 문화적 내면화. 이 세 경로는 서로 다른 층위에서 작동하며, 각각의 강점과 한계를 가진다. 하나씩 해부한다.
I. 첫 번째 경로: 인센티브 설계 — 윤리적 행동이 이익이 되게 하라
인센티브 설계(Incentive Alignment)는 가장 직접적인 정렬 경로다. 원리는 간단하다: 윤리적 행동이 경제적 이익과 같은 방향을 가리키도록 보상 체계를 재설계하는 것. 비윤리적 행동의 외부비용을 내부화(internalize)하여, 그 행동의 실질 비용을 행위자가 직접 부담하게 만드는 것.
이론적으로 아름답다. 하지만 이론의 아름다움과 실천의 복잡성 사이에는 깊은 간극이 있다. 이 간극을 이해하기 위해, 인센티브 설계가 극적으로 성공한 사례와 처참하게 실패한 사례를 대비시킨다.
성공: 몬트리올 의정서 — 인류 역사상 가장 성공한 환경 협약
1987년 9월 16일 체결된 몬트리올 의정서는 오존층을 파괴하는 물질(ODS)의 생산과 소비를 단계적으로 폐지하기 위한 국제 조약이다. 유엔 역사상 최초로 전 세계 197개 당사국의 보편적 비준을 달성한 조약이며, 전 유엔 사무총장 코피 아난이 "지금까지 가장 성공적인 국제 협약"이라고 평한 바 있다.
그 성과는 놀랍다. 오존층 파괴 물질의 98% 이상이 감축되었고, 이로 인해 매년 약 200만 건의 피부암이 예방되고 있으며, 오존층은 21세기 중반까지 완전 회복될 것으로 전망된다. 2016년의 키갈리 개정(Kigali Amendment)은 대체 물질인 수소불화탄소(HFC)의 감축까지 포함하여, 2100년까지 추가적으로 0.3~0.5도의 지구 온난화를 회피할 수 있을 것으로 예측된다.
왜 성공했는가? 여러 요인이 있지만, 우리의 프레임워크에서 가장 결정적인 것은 전환 비용(switching cost)의 구조다. 오존층 파괴 물질의 대체재가 기술적으로 가능했고, 경제적으로도 감당 가능했다. 프레온(CFC)을 대체하는 기술이 이미 존재하거나 빠르게 개발될 수 있었기에, 산업계의 전환 비용이 상대적으로 낮았다. 특히 미국의 주요 화학 기업 듀폰(DuPont)은 대체재 시장에서 선두를 차지할 수 있다는 사업적 이점을 인식하고, 의정서를 적극 지지했다. 이것이 핵심이다 — 규제를 준수하는 것이 새로운 시장 기회를 여는 것과 정렬되어 있었다.
3편에서 도출한 "윤리적 행동의 기회비용" 개념으로 번역하면 이렇다: 몬트리올 의정서가 성공한 것은 오존층 보호라는 윤리적 목표의 기회비용이 구조적으로 낮았기 때문이다. CFC를 포기해도 냉장고와 에어컨의 기능은 유지되었고, 대체재 시장이 새로운 수익원을 제공했다. 윤리 붕괴점에 도달하지 않은 것이다.
여기에 더해, 몬트리올 의정서에는 정렬을 지속시키는 제도적 장치가 내장되어 있었다. 비처벌적 이행 절차(non-punitive compliance procedure)는 이탈 국가를 처벌하는 대신 다시 이행 궤도에 올려놓는 것을 우선시했다. 다자기금(Multilateral Fund)은 개발도상국의 전환 비용을 선진국이 일부 부담하는 메커니즘을 제공했다. 그리고 4년마다의 과학적 평가(scientific assessment)는 데이터에 기반한 정책 조정을 가능하게 했다. 이 모든 장치가 정렬을 일회적 사건이 아니라 지속적 과정으로 만들었다.
그리고 결정적으로, 무역 제한 조항이 있었다. 의정서 비가입국과의 ODS 교역을 제한함으로써, 주요 생산국이 가입하면 비가입국도 사실상 가입할 수밖에 없는 구조를 만들었다. "윤리적 선택"이 "유일하게 합리적인 선택"이 되도록 게임의 규칙 자체를 바꾼 것이다.
실패: 교토 의정서에서 파리 협정까지 — 기회비용이 임계치를 넘을 때
동일한 지구적 환경 문제임에도, 기후변화 대응은 오존층 보호와 극적으로 다른 궤적을 그려왔다. 1997년 교토 의정서는 선진국의 온실가스 감축 의무를 설정했지만, 미국의 비비준, 개발도상국의 의무 면제 논란, 그리고 감축 목표 미달성 등으로 사실상 실패했다. 2015년 파리 협정은 교토 의정서의 "하향식(top-down)" 접근을 "상향식(bottom-up)" 접근으로 전환하여 모든 국가가 자발적 감축 목표(NDC)를 제출하도록 했지만, 대다수 국가가 자체 목표마저 달성하지 못하고 있다.
왜 실패하는가? 몬트리올 의정서와의 결정적 차이는 기회비용의 규모다.
오존층 파괴 물질의 대체는 특정 화학물질의 교체 문제였다. 반면 기후변화 대응은 화석연료 기반의 전체 에너지 시스템 — 즉 산업문명의 물질적 기초 — 의 전환을 요구한다. 기회비용의 규모가 비교 불가능할 정도로 크다. 석유, 가스, 석탄 산업의 좌초 자산(stranded assets), 에너지 집약 산업의 구조 조정, 개발도상국의 에너지 접근권 문제가 복합적으로 얽혀 있다.
3편의 모델로 말하면, 기후행동의 기회비용은 윤리 붕괴점을 넘어 있다. 따라서 인센티브 설계만으로는 정렬이 이루어지지 않는다. 탄소세가 이론적으로 아름다운 인센티브 설계임에도 정치적으로 좌초하는 이유는, 탄소세가 부과하는 비용이 특정 집단에게 즉각적으로 가시적인 반면 그 혜택은 미래에 분산되어 비가시적이기 때문이다. 프랑스의 노란조끼 운동(Gilets jaunes)이 정확히 이 역학을 보여주었다 — 탄소세의 비용을 가장 먼저 체감하는 것은 대도시의 부유층이 아니라 자동차 의존도가 높은 지방의 서민층이었다.
성공과 실패를 가르는 조건
두 사례의 대비에서 인센티브 설계가 성공하는 조건을 추출할 수 있다.
조건 1: 전환 비용이 감당 가능해야 한다. 대체 기술이 충분히 성숙하여 기존 시스템의 기능을 유지하면서도 전환이 가능해야 한다. 몬트리올 의정서에서 CFC 대체재는 이미 존재했다. 기후변화에서 재생에너지 기술은 빠르게 발전하고 있지만, 아직 전체 에너지 시스템의 완전한 대체에는 이르지 못했다. 이 간극이 좁혀질수록 정렬의 가능성은 높아진다 — 실제로 태양광과 풍력의 급격한 가격 하락은 기후 정렬의 가장 중요한 촉진 요인이다.
조건 2: 비용 부담이 비교적 균등해야 한다. 비용이 특정 집단에게 집중되면, 그 집단은 정렬에 강력하게 저항한다. 몬트리올 의정서에서는 다자기금이 개발도상국의 전환 비용을 완충했다. 기후변화에서 "공정 전환(just transition)" — 석탄 광부, 석유 노동자 등 전환 비용을 집중적으로 부담하는 집단에 대한 보상 — 의 부재가 정치적 저항의 핵심 원인이다.
조건 3: 이행을 검증할 수 있어야 한다. 몬트리올 의정서의 과학적 평가 메커니즘과 보고 체계는 이행 여부를 객관적으로 검증 가능하게 만들었다. 기후변화에서 각국의 자발적 감축 목표(NDC)는 검증이 어렵고, 미이행에 대한 실효적 제재 메커니즘이 부재하다.
이 세 조건은 인센티브 설계의 기술적 조건이다. 그러나 더 근본적인 문제가 있다: 이 조건들을 충족시키는 제도적 틀을 만들고 유지하는 것 자체가, 다시 이익구조에 의해 제약된다. 인센티브를 설계하는 설계자 자체가 이익구조 안에 위치한다는 순환 문제. 이것이 두 번째 경로가 필요한 이유다.
II. 두 번째 경로: 제도적 강제 — 비윤리적 행동의 비용을 높여라
인센티브 설계가 "당근"이라면, 제도적 강제(Institutional Enforcement)는 "채찍"이다. 윤리적 행동에 보상을 주는 것이 아니라, 비윤리적 행동에 비용을 부과하는 것이다. 법률, 규제, 처벌, 투명성 요구 등이 이 경로의 도구다.
GDPR: 제도적 강제의 현대적 실험
2018년 5월 시행된 EU의 일반 데이터 보호 규정(GDPR)은 디지털 프라이버시 영역에서 제도적 강제의 가장 야심적인 실험이다. 개인 데이터의 수집·처리·이전에 대한 엄격한 규칙을 설정하고, 위반 시 전 세계 매출의 4% 또는 2,000만 유로 중 큰 금액을 과징금으로 부과할 수 있다.
GDPR이 우리의 프레임워크에서 흥미로운 이유는, 그것이 비윤리적 행동의 비용을 구조적으로 높이는 전형적 사례이기 때문이다. GDPR 이전에 개인 데이터의 무단 수집·활용은 기업에게 "비용 없는" 행위였다 — 기술적으로 가능하고, 법적 제재가 미미하며, 사용자는 인지하지 못했다. GDPR은 이 행위에 막대한 잠재적 비용(과징금)을 부과함으로써, 기업의 비용-편익 계산 자체를 변화시켰다.
그 효과는 측정 가능하다. 시행 이후 6년간, EU 전역에서 28만 건 이상의 데이터 침해 통지가 접수되었고, 수억 유로 규모의 과징금이 부과되었다. 포춘 500대 기업이 GDPR 준수에 투입한 비용은 총 78억 달러에 달하는 것으로 추산된다.
온라인 추적기(tracker)의 사용은 EU 지역에서 약 14.8% 감소했으며, 특히 개인 데이터를 수집·공유하는 프라이버시 침해적 추적기의 감소가 두드러졌다. 그러나 GDPR의 사례는 제도적 강제의 성과만을 보여주는 것이 아니다. 그 한계도 동시에 드러낸다.
첫 번째 한계: 비대칭적 영향. GDPR의 준수 비용은 중소기업에게 상대적으로 더 무겁다. 중간 규모 기업의 GDPR 준수 비용이 약 300만 달러, 미국 포춘 500대 기업의 평균 비용이 1,600만 달러로 추산되지만, 비용 부담 능력의 차이를 고려하면 소기업이 훨씬 더 큰 타격을 받는다.
연구에 따르면 GDPR 시행 후 EU 기업의 월간 벤처 투자 건수가 26.1% 감소했고, 조달 금액은 33.8% 감소했다. 시장 집중도는 오히려 17% 상승했다 — 대형 플랫폼이 GDPR을 준수할 역량을 갖춘 반면 소규모 경쟁자들은 시장에서 밀려난 것이다. 구글은 GDPR의 내부 데이터 공유 조항을 활용하여 오히려 경쟁 우위를 강화했다.
이것은 제도적 강제의 구조적 역설이다: 비윤리적 행동의 비용을 높이는 규제가, 동시에 진입 장벽을 높여 기존 대형 행위자에게 유리한 시장 구조를 만들 수 있다. 규제가 의도한 윤리적 목표(프라이버시 보호)는 달성하면서도, 의도하지 않은 결과(시장 집중 심화)가 새로운 윤리적 문제를 만드는 것이다.
두 번째 한계: 형식적 준수와 실질적 준수의 괴리. GDPR 시행 이후 유럽의 웹사이트에는 쿠키 동의 팝업이 폭발적으로 증가했다. 그러나 연구에 따르면 이 동의 배너의 57.4%가 사용자를 프라이버시에 불리한 선택으로 유도하는 "다크 패턴(dark pattern)"을 포함하고 있었다. 형식적으로 GDPR을 준수하면서 실질적으로는 그 취지를 우회하는 것이다. 이것은 2편에서 분석한 ESG의 시그널링-실천 괴리와 구조적으로 동일한 현상이다 — 규제의 형식에 부합하는 비용은 지불하되, 규제의 실질을 이행하는 비용은 회피하는 최적화.
세 번째 한계: 집행의 정치적 제약. 가장 근본적인 한계다. 규제를 만들고 집행하는 기관 자체가 이익구조 안에 위치한다. 3편에서 보았듯, 미국의 산업별 로비 지출은 매년 사상 최고치를 경신하고 있으며(2025년 50억 달러 돌파), 제약산업만으로도 1999년 이후 61억 달러 이상이 연방 로비에 투입되었다. 규제 기관의 인력이 규제 대상 기업으로 이동하는 "회전문(revolving door)" 현상은 규제의 독립성을 구조적으로 침식한다.
국제 수준에서 이 한계는 더욱 극명하다. 국제형사재판소(ICC)는 전쟁범죄와 인도에 반한 죄를 재판하기 위해 설립되었지만, 안보리 상임이사국 중 미국, 러시아, 중국은 ICC 관할권을 인정하지 않는다. 가장 강력한 행위자가 규칙의 적용을 거부할 수 있는 체제에서, 제도적 강제는 구조적으로 불완전하다. 이것은 국제 체제의 무정부적 특성(5편에서 자세히 다룰)에서 비롯되는 근본적 한계이며, 제도적 강제라는 경로의 천장(ceiling)을 설정한다.
제도적 강제의 작동 조건
그럼에도 제도적 강제가 효과적으로 작동한 사례들에서 공통 조건을 추출할 수 있다.
조건 1: 과징금이 이익을 초과해야 한다. 규제 위반의 비용이 규제 준수의 비용보다, 그리고 위반으로 얻는 이익보다 확실히 커야 한다. GDPR의 매출 4% 과징금은 이 기준에 부합한다. 반면 많은 환경 규제에서 과징금은 기업 이익에 비해 미미하여, "벌금은 사업 비용의 일부"로 취급된다.
조건 2: 탐지 확률이 충분히 높아야 한다. 아무리 과징금이 크더라도 적발 확률이 낮으면 기대 비용(과징금 × 적발 확률)은 낮다. 디지털 영역에서 데이터 침해의 탐지가 상대적으로 용이한 반면, 공급망 깊숙한 곳의 노동권 침해나 환경 오염은 탐지가 어렵다. 투명성(transparency)은 탐지 확률을 높이는 핵심 도구다.
조건 3: 집행 기관의 독립성이 보장되어야 한다. 규제 기관이 규제 대상의 정치적·경제적 영향력으로부터 충분히 독립되어야 한다. 중앙은행의 독립성이 통화 정책의 신뢰성을 담보하듯, 규제 기관의 독립성이 규제의 실효성을 담보한다.
이 세 조건이 동시에 충족되는 영역은 많지 않다. 그리고 충족되더라도, 형식적 준수와 실질적 준수 사이의 간극은 항상 존재한다. 이것이 세 번째 경로가 필요한 이유다.
III. 세 번째 경로: 문화적 내면화 — 계산 이전에 작동하는 윤리
인센티브 설계와 제도적 강제는 모두 외적 조건을 변화시킨다 — 보상 구조를 바꾸거나, 처벌의 강도를 높이거나. 그러나 외적 조건의 변화만으로는 설명할 수 없는 윤리적 행동의 영역이 존재한다. 기회비용이 극히 높음에도 윤리적 선택을 하는 개인과 집단, 그리고 특정한 비윤리적 행동을 생각하는 것 자체가 불가능한 문화적 영역이 있다.
문화적 내면화(Cultural Internalization)란 윤리적 규범이 개인의 정체성과 공동체의 문화에 깊이 통합되어, 비용-편익 계산 이전에 작동하는 상태를 말한다. 이 상태에서 윤리적 행동은 "이익을 포기하는 것"이 아니라 "내가 나로 존재하는 방식"이 된다. 계산이 필요 없기에 기회비용이라는 개념 자체가 적용되지 않는다.
이것은 강력하다. 너무 강력하여, 인류 역사에서 가장 극단적인 윤리적 행위들 — 목숨을 걸고 유대인을 숨겨준 사람들, 독재에 맞서 죽음을 감수한 민주화 운동가들, 내부 고발로 커리어를 희생한 사람들 — 이 이 경로에서 나왔다.
그러나 우리의 분석 프레임워크는 이 경로의 한계도 정직하게 인정할 것을 요구한다.
한계 1: 규모의 문제. 문화적 내면화는 깊지만, 좁다. 내면화된 윤리적 규범은 특정 공동체, 특정 전통, 특정 맥락 안에서 강력하게 작동하지만, 보편적으로 확장되기 어렵다. 나치 점령 하에서 유대인을 구한 사람들은 전체 인구의 극소수였다. 내면화된 윤리에 의존하는 것은, 윤리적 행동의 부담을 소수의 영웅에게 떠넘기는 것이다.
한계 2: 상황적 취약성. 1편에서 보았듯, 내면화된 윤리조차 충분히 강한 상황적 압력 앞에서 후퇴할 수 있다. 밀그램 실험과 스탠퍼드 교도소 실험이 보여주는 것은, 평소에 강한 도덕적 신념을 가진 사람들도 특정한 구조적 조건(권위의 명령, 역할의 압력)하에서 자신의 가치를 배반할 수 있다는 것이다. 문화적 내면화는 방탄이 아니다 — 총알의 구경이 충분히 크면 뚫린다.
한계 3: 내용의 자의성. 문화적 내면화의 대상이 항상 보편적으로 바람직한 가치인 것은 아니다. 명예살인, 카스트 차별, 인종적 우월주의도 특정 문화에서 깊이 내면화된 "윤리적" 규범이다. 내면화 자체는 가치 중립적 메커니즘이다 — 내면화의 내용이 아니라 과정이 중요한 것이며, 내용의 방향은 외부의 비판적 검토 없이는 보장되지 않는다.
그럼에도 불가결한 이유
이러한 한계에도 불구하고, 문화적 내면화가 정렬의 불가결한 구성요소인 이유는 무엇인가?
인센티브 설계와 제도적 강제는 필연적으로 완전하지 않다. 모든 상황에 적합한 인센티브를 설계하는 것은 불가능하고, 모든 위반을 탐지하여 제재하는 것도 불가능하다. 그 불가능성의 틈새 — 규제가 도달하지 못하는 영역, 인센티브가 작동하지 않는 순간 — 에서 윤리가 작동하려면, 외적 조건이 아닌 내적 동기가 필요하다. 문화적 내면화는 이 "마지막 1마일(last mile)"을 담당한다.
더 중요한 것은, 문화적 내면화가 인센티브 설계와 제도적 강제의 전제조건이기도 하다는 점이다. 탄소세를 도입하려면 기후변화가 심각한 문제라는 사회적 합의가 선행되어야 한다. GDPR을 제정하려면 프라이버시가 보호할 가치가 있다는 문화적 인식이 전제되어야 한다. 이러한 합의와 인식은 어디에서 오는가? 그것은 교육, 공론, 예술, 저널리즘, 시민운동 — 즉 문화적 과정 — 에서 온다. 인센티브와 제도는 문화적 토양 위에서만 발아한다.
따라서 세 경로는 위계가 아니라 생태계다. 인센티브 설계가 가장 직접적이고, 제도적 강제가 가장 강제적이며, 문화적 내면화가 가장 깊다. 세 경로 중 어느 하나만으로는 지속 가능한 정렬이 불가능하다. 세 경로가 상호 보완하며 작동할 때 — 인센티브가 윤리적 행동을 보상하고, 제도가 비윤리적 행동을 제재하며, 문화가 윤리적 감수성을 유지할 때 — 정렬은 안정화된다.
IV. 정렬 실패의 비용: 왜 정렬이 "비용"이 아니라 "투자"인가
정렬에 대한 가장 흔한 반론은 비용 문제다. "탄소세는 경제에 부담이다." "GDPR은 혁신을 저해한다." "규제는 기업 경쟁력을 약화시킨다." 이 반론들은 정렬의 비용에만 초점을 맞추고, 정렬 실패의 비용을 간과한다.
정렬 실패의 비용은, 거의 모든 경우에 정렬의 비용을 압도한다.
기후변화. 기후행동의 비용은 세계 GDP의 1~3%로 추정된다. 반면 기후행동의 부재 비용 — 극단적 기상현상, 농업 생산성 감소, 해수면 상승으로 인한 이주, 생태계 붕괴 — 은 GDP의 10~23%에 달할 수 있다는 추정이 있다. 니콜라스 스턴의 유명한 표현을 빌리면, 기후변화는 "역사상 가장 크고 가장 광범위한 시장 실패"다.
오피오이드 위기. 2편에서 보았듯, 퍼듀파마의 옥시콘틴 마케팅에 대한 적절한 규제(정렬)에 드는 비용은 제약 규제 시스템의 강화 비용이었을 것이다. 반면 정렬 실패의 비용 — 45만 명 이상의 사망, 연간 1조 달러 이상의 경제적 비용 — 은 비교할 수 없이 크다.
금융위기. 2008년 금융위기 이전에 파생금융상품에 대한 적절한 규제(정렬)에 드는 비용은 금융산업의 일부 이익 감소였을 것이다. 반면 정렬 실패의 비용은 전 세계적 경기침체, 수조 달러의 자산 손실, 수백만 명의 실직과 주택 압류였다.
패턴은 명확하다: 정렬의 비용은 지금 여기서 특정 집단이 부담하지만, 정렬 실패의 비용은 미래에 불특정 다수가 분산적으로 부담한다. 이 시간적·공간적 비대칭이 정렬이 이루어지지 않는 가장 근본적인 이유다.
정렬의 비용은 가시적이다. 탄소세를 도입하면 가솔린 가격이 오르고, 특정 기업의 수익이 줄고, 특정 노동자의 일자리가 위협받는다. 이 비용은 정치적으로 동원 가능한 불만이 된다. 반면 정렬 실패의 비용은 비가시적이다. 기후변화가 야기한 가뭄이 특정 지역의 농업을 파괴하고 그 결과 발생한 이주가 다른 지역의 정치적 불안을 야기하는 인과사슬은, 탄소세와 가솔린 가격의 직접적 연결에 비해 훨씬 간접적이고 비가시적이다.
이 비대칭은 민주주의 체제에서 특히 문제적이다. 선거 주기(4~5년)는 정렬 실패의 비용이 현실화되는 시간 지평(수십 년)보다 훨씬 짧다. 정치인에게 합리적인 전략은, 정렬의 비용을 지금 부담하여 정치적 불이익을 감수하는 것이 아니라, 정렬을 미루고 비용을 미래에 전가하는 것이다. "미래 세대"는 투표하지 않기 때문이다.
이것이 정렬의 가장 근본적 장애물이다: 정렬의 비용과 정렬 실패의 비용 사이의 시간적 비대칭. 이 비대칭을 극복하지 않으면, 아무리 정교한 인센티브 설계와 제도적 강제도 정치적 의지의 부재에 의해 무력화된다.
V. 정렬의 정렬 문제: 순환의 함정과 탈출 경로
여기까지의 논의에서 한 가지 불편한 순환이 드러난다. "이익과 윤리를 정렬시켜야 한다"는 처방은, 그 정렬을 실행할 주체 자체가 이익구조 안에 위치한다는 문제를 해결하지 못한다.
탄소세를 도입할 국회의원은 석유 산업의 로비를 받는다. 규제를 집행할 관료는 규제 대상 기업으로의 이직을 고려한다. ESG 평가 기관은 평가 대상 기업으로부터 수수료를 받는다. AI 윤리 지침을 작성하는 기술 기업은 그 지침이 자사의 사업 모델을 제약하지 않기를 원한다. 정렬을 설계하는 설계자 자체를 정렬시키는 문제 — "정렬의 정렬" 문제 — 가 있다.
이것은 논리적으로는 무한 후퇴(infinite regress)처럼 보인다. 누가 설계자를 정렬시키는가? 그 정렬자를 누가 정렬시키는가? 그러나 실천적으로는 무한 후퇴가 아니다. 왜냐하면 정렬은 단일 행위자의 단일 결정이 아니라 다중 행위자 간의 지속적 상호작용이기 때문이다.
견제와 균형의 재발견
이 순환을 끊는 핵심 메커니즘은, 정치 이론의 가장 오래된 통찰 중 하나인 *견제와 균형(checks and balances)*이다.
단일 행위자가 "올바른" 정렬을 설계하리라 기대하는 것은 비현실적이다. 그러나 복수의 행위자가 서로의 이익을 견제하는 구조에서는, 어떤 행위자도 자신의 이익만을 위해 정렬을 왜곡하기 어렵다. 민주주의의 삼권분립이 이 원리를 정치 체제 수준에서 구현한 것이고, 언론의 자유와 시민사회의 감시가 이 원리를 사회 수준에서 구현한 것이다.
이 원리를 윤리-이익 정렬에 적용하면 이렇다: 정렬의 설계와 실행을 단일 주체(정부만, 혹은 기업만, 혹은 시민사회만)에게 맡기는 것이 아니라, 복수의 주체 — 정부, 기업, 시민사회, 학계, 미디어 — 가 각자의 이익을 추구하면서 서로를 견제하는 구조를 만드는 것이다.
프랜시스 하우겐의 내부 고발(시민사회/미디어의 감시)이 메타의 내부 연구를 폭로하고, 그 폭로가 의회의 규제 논의(정부의 강제)를 촉발하며, 규제의 위협이 기업의 자율 규제(인센티브 변화)를 유도하는 과정은, 이 다중 행위자 상호작용의 전형적 사례다. 어떤 단일 행위자도 독자적으로 정렬을 만들어내지 못했지만, 행위자 간의 상호작용이 정렬의 방향으로 움직임을 만들어냈다.
투명성: 견제의 전제조건
견제와 균형이 작동하려면 한 가지 전제조건이 있다: 투명성(transparency). 행위자의 행동이 다른 행위자에게 관찰 가능해야 견제가 가능하다. 엑손의 내부 기후 연구가 수십 년간 비밀이었기 때문에 견제가 작동하지 못했고, 페이스북의 내부 연구가 비밀이었기 때문에 견제가 작동하지 못했다. 투명성의 확보 — 공시 의무, 내부 고발자 보호, 정보 공개 제도, 독립적 감사 — 는 정렬의 인프라다.
그러나 투명성에도 한계가 있다. 정보가 공개되더라도 그 정보를 처리하고 의미를 부여할 주체가 필요하다. 3편에서 보았듯 ESG 데이터는 막대한 양이 공시되고 있지만, 그 데이터의 품질이 열악하고 표준이 부재하여 의미 있는 비교가 어렵다. 투명성은 필요조건이지 충분조건이 아니다.
위기의 역할: 비대칭을 깨뜨리는 충격
앞서 "정렬의 비용과 정렬 실패의 비용 사이의 시간적 비대칭"이 정렬의 가장 근본적인 장애물이라고 했다. 이 비대칭을 깨뜨리는 것 중 하나가, 역설적으로, *위기(crisis)*다.
위기는 정렬 실패의 비용을 미래에서 현재로 앞당긴다. 2008년 금융위기는 금융 규제의 정치적 비용을 급격히 낮추었고, 도드-프랭크법(Dodd-Frank Act)이라는 전면적 규제 개혁을 가능하게 했다. 남극 오존 구멍의 발견(1985년)은 CFC 규제의 정치적 비용을 급격히 낮추었고, 몬트리올 의정서를 가능하게 했다.
그러나 위기에 의존하는 것은 세 가지 이유에서 바람직하지 않다. 첫째, 위기가 올 때쯤이면 이미 막대한 피해가 발생한 뒤다. 둘째, 위기 상황의 개혁은 급하게 이루어져 설계가 부실할 수 있다. 셋째, 위기의 기억은 빠르게 희석되어 개혁의 동력이 소진된다 — 금융위기 이후 도드-프랭크법의 핵심 조항들이 점진적으로 약화된 것이 이 역학을 보여준다.
이상적으로는, 위기가 오기 전에 정렬이 이루어져야 한다. 그러나 위기가 없으면 정렬의 정치적 비용이 정렬 실패의 (미래적) 비용보다 가시적으로 크기 때문에, 정렬이 이루어지지 않는다. 이것이 정렬의 시간적 역설이며, 솔직히 말하면, 이 역설에 대한 깔끔한 해법은 아직 없다.
다만 이 역설의 강도를 줄이는 방법은 있다: 미래의 비용을 현재에 더 가시적으로 만드는 것이다. 기후과학의 발전이 미래의 피해를 더 정밀하게 예측할수록, 기후행동의 정치적 비용은 상대적으로 낮아진다. 시나리오 분석, 스트레스 테스트, 미래 비용의 현재가치 환산 등은 모두 시간적 비대칭을 줄이는 도구다. 이것들이 충분한가? 아마 아니다. 하지만 아무것도 하지 않는 것보다는 낫다.
VI. 정렬은 목적지가 아니라 과정이다
이 글의 마지막 논점은, 정렬에 대한 올바른 심상(mental image)에 관한 것이다.
정렬은 한 번 달성하면 영구적으로 유지되는 상태가 아니다. 정렬은 끊임없이 유지하고 갱신해야 하는 과정이다. 왜냐하면 이익구조는 계속 변화하기 때문이다.
몬트리올 의정서가 CFC를 성공적으로 감축했을 때, 대체 물질인 HFC가 강력한 온실가스임이 밝혀졌다. 성공적 정렬이 새로운 정렬 과제를 낳은 것이다. 키갈리 개정(2016)은 이 새로운 과제에 대응한 것이며, 이런 식의 반복적 조정이 정렬을 유지하는 방식이다.
디지털 기술의 경우, 정렬 과제의 변화 속도는 더욱 빠르다. GDPR이 2018년에 데이터 프라이버시에 대한 정렬을 시도했지만, 이후 생성 AI의 등장은 완전히 새로운 차원의 프라이버시·저작권·허위정보 문제를 만들어냈다. 2018년의 정렬 프레임워크로 2026년의 기술적 현실을 규율하는 것은 불가능하다.
이것은 절망의 근거가 아니라 설계의 지침이다. 정렬 시스템은 유연하고 적응적으로 설계되어야 한다. 몬트리올 의정서가 성공한 이유 중 하나는 "유연한 프레임워크"로 설계되어 과학적 지식의 발전에 따라 통제 조치를 강화하거나 조정할 수 있었기 때문이다. 반면 경직된 규제는 변화하는 이익구조에 의해 빠르게 우회되거나 무력화된다.
적응적 정렬(adaptive alignment)의 핵심 요소는 세 가지다. 첫째, 피드백 루프. 정렬의 효과를 지속적으로 측정하고, 그 측정 결과에 기반하여 정렬을 조정하는 순환 체계. 몬트리올 의정서의 4년 주기 과학적 평가가 이 모델이다. 둘째, 일몰 조항과 재검토 메커니즘. 규제가 영구적이 아니라 정기적으로 재평가되는 구조. 변화하는 현실에 규제를 적응시키는 동시에, 규제 포획의 고착화를 방지한다. 셋째, 실험의 허용. 정책의 "정답"을 미리 아는 것은 불가능하므로, 소규모 실험 평가 확대의 반복적 과정을 허용하는 제도적 유연성.
VII. 시험대로
이 글에서 제시한 정렬 프레임워크는 이론적 수준에서는 정합적이다. 그러나 이론의 진가는 현실의 가장 어려운 사례에서 시험된다. 이 프레임워크가 진정으로 유용한가를 판단하려면, 윤리-이익 정렬이 가장 첨예하게 충돌하는 영역에 적용해보아야 한다.
그 첨예한 영역은 두 곳이다.
하나는 AI가 전쟁에 쓰이는 영역이다. 여기서는 안보 딜레마(security dilemma)가 윤리-이익 정렬을 구조적으로 불가능하게 만드는 가장 강력한 힘으로 작동한다. 국제 체제의 무정부적 특성 하에서 "안보"라는 이익은 다른 모든 윤리적 고려를 삼킬 수 있으며, 기술엘리트의 사적 이익이 이 구조와 결합할 때 정렬의 마지막 가능성마저 소멸할 위험이 있다. 인센티브 설계가 거의 불가능한(국가 간 신뢰의 부재) 영역, 제도적 강제가 구조적으로 불완전한(강대국의 거부) 영역, 문화적 내면화마저 "안보 예외주의"에 의해 무력화되는 영역이다. 정렬 프레임워크의 최대 강도 시험(stress test)이다.
다른 하나는 기후변화가 정치에 휘말리는 영역이다. 여기서는 정렬의 시간적 비대칭이 가장 극적으로 작동한다. 기후행동의 비용은 지금이고, 기후부작위의 비용은 미래다. 성장제일주의 이데올로기가 이 비대칭을 고착화하고, 포퓰리즘이 그 고착화를 정치적으로 강화한다. 과학적 사실 자체가 이익구조에 의해 왜곡되는 유일한 영역이기도 하다 — 2편에서 분석한 "의심 제조" 전략이 가장 체계적으로, 가장 장기간 지속된 곳이다.
주어진 에세이의 논리 구조와 문체를 깊이 분석했습니다. VII절이 두 개의 스트레스 테스트를 예고하며 끝났으므로, 각 테스트를 실제로 수행하고, 그 결과로부터 프레임워크의 최종 평가를 이끌어내는 방식으로 완성합니다.
스트레스 테스트 1: AI와 전쟁 — 안보 딜레마가 정렬을 삼킬 때
안보 딜레마(security dilemma)의 구조는 죄수의 딜레마보다 더 잔인하다. 죄수의 딜레마에서는 배신이 “지배 전략(dominant strategy)“이지만, 이론적으로 반복 게임이나 의사소통을 통해 협력 균형이 가능하다. 안보 딜레마에서는 배신이 지배 전략일 뿐 아니라, 그 배신이 선의에서 비롯될 수 있다. 내가 AI 무기 개발을 자제하는 것이 도덕적으로 옳다고 믿더라도, 상대국이 개발을 계속한다면 나의 자제는 상대의 군사적 우위를 선물하는 것이 된다. 도덕적 선택이 안보적 자살이 되는 구조에서, 윤리-이익 정렬의 세 경로는 어디에 위치하는가.
인센티브 설계는 거의 작동하지 않는다. 그 이유는 구조적이다. 인센티브 설계의 논리는 양의 합(positive-sum) 게임을 전제한다 — 윤리적 행동이 모두에게 이익이 되도록 재구성하는 것. 그러나 AI 군사력은 본질적으로 영의 합(zero-sum)이다. 적국보다 우월한 AI 전투 시스템을 보유하는 것이 이익이며, 이 이익은 상대의 열위를 직접 전제한다. 이런 구조에서 “AI 무기 개발을 자제하면 더 이익”이 되는 인센티브를 설계하는 것은, 적이 내 자제를 악용하지 않는다는 신뢰가 선행될 때만 가능하다. 그 신뢰는 지금 존재하지 않는다.
그러나 역사는 이 불가능성이 절대적이지 않음을 보여준다. 핵무기의 경우, 상호확증파괴(MAD)는 역설적 형태의 정렬을 만들어냈다 — 핵무기를 사용하는 것이 자국의 파멸을 의미하기 때문에, “사용하지 않는 것”이 합리적 선택이 된다. 화학무기금지협약(CWC)은 더 나아가, 화학무기의 “군사적 유용성”에 대한 재정의(화학무기는 실전에서 사용자에게도 위험하고, 정치적 비용이 극도로 높다)를 통해 인센티브 구조를 변화시켰다. AI 무기에 대해 유사한 재정의가 가능한가? 자율 살상 무기가 “통제 불가능성”이라는 군사적 약점을 가진다는 논거 — 적이 해킹하거나 오작동하면 자국 병력을 위협한다는 — 는 이 방향의 인센티브 설계 시도다. 아직 충분히 강력하지 않지만, 완전히 무용하지도 않다.
제도적 강제는 구조적으로 불완전하지만, 그 불완전성의 정도가 중요하다. 국제형사재판소는 P5의 거부로 무력화되고, 현존하는 국제 무기 규제 레짐 — NPT, CWC, BWC — 은 모두 검증(verification)의 문제를 안고 있다. AI 무기는 이 문제를 한 차원 더 심화시킨다. 핵무기는 농축 우라늄과 플루토늄이라는 물리적 증거를 남기며, IAEA의 사찰 체계가 어느 정도 작동한다. AI 능력은 소프트웨어이며, 민수용과 군사용의 구분이 불명확한 이중사용(dual-use) 기술이다. GPT-4를 훈련시키는 인프라와 드론 타겟팅 AI를 훈련시키는 인프라의 차이는 외부에서 관찰하기 극히 어렵다. 검증 불가능성은 제도적 강제의 토대를 잠식한다.
그럼에도 제도적 강제가 완전히 무용한 것은 아니다. *전쟁법(Laws of Armed Conflict)*이라는 기존 레짐이 있다. 구별의 원칙(전투원과 민간인의 구분), 비례성의 원칙, 불필요한 고통 금지 — 이 원칙들은 자율 살상 무기에 그대로 적용될 수 있다. “의미 있는 인간의 통제(meaningful human control)“라는 기준은, AI 무기가 이 원칙들을 충족할 수 없다는 논거를 제공한다. 이것은 기존 제도를 새로운 기술에 확장하는 방식이며, 완전히 새로운 제도를 창출하는 것보다 현실적 가능성이 높다.
문화적 내면화가 이 영역에서 가장 흥미로운 경로다, 동시에 가장 위험한 경로이기도 하다. “안보 예외주의(security exceptionalism)” — 국가 안보가 모든 윤리적 제약을 면제한다는 신념 — 는 그 자체가 하나의 문화적 내면화다. 이 내면화는 역사적으로 고문, 민간인 폭격, 집단 처벌을 정당화하는 데 반복적으로 동원되어 왔다. AI 무기를 반대하는 문화적 내면화를 촉진하려면, 안보 예외주의라는 더 깊이 내면화된 문화와 경쟁해야 한다.
여기서 주목할 만한 것은 기술 종사자들의 윤리 운동이다. 2018년 구글 직원들이 군사용 AI 프로젝트인 “메이븐 프로젝트(Project Maven)“에 반대하여 청원에 서명하고 일부는 퇴사한 사건은, 문화적 내면화가 의외의 경로에서 작동한 사례다. 국가 외교가 아닌, 기술 개발의 실질적 주체인 엔지니어들의 직업 윤리가 정렬에 실질적 마찰을 만들어낸 것이다. AI 개발이 소수의 거대 기술 기업에 집중된 오늘날, 이 기업들의 내부 문화가 사실상 군사 AI 개발의 속도와 방향을 결정하는 구조적 변수가 되었다. 정부보다 더 강력한 AI 능력을 가진 사기업이 국제 안보의 게임에 새로운 행위자로 등장한 이 현실은 — 전통적인 국가 중심 안보 담론이 전제하는 구조와 근본적으로 다르다.
최종 평가: AI 전쟁 영역에서 정렬 프레임워크는 극도로 스트레스를 받지만, 완전히 붕괴하지는 않는다. 인센티브 설계는 MAD의 구조적 유비를 통해 제한적 가능성을 갖고, 제도적 강제는 전쟁법의 확장 적용을 통해 발판을 유지하며, 문화적 내면화는 기술 엔지니어 집단이라는 예상치 못한 주체에서 작동한다. 그러나 이 세 경로가 안보 딜레마의 구조적 인력을 극복할 만큼 강력한가? 지금으로서는 아니다. 정렬의 프레임워크가 무용하다는 것이 아니라, 이 영역에서는 프레임워크의 적용 이전에 해결해야 할 더 근본적인 문제 — 국제 신뢰 레짐의 부재 — 가 있다는 것이다. 진단이 처방에 선행한다. 처방이 없다고 해서 진단이 틀린 것은 아니다.
스트레스 테스트 2: 기후변화와 정치 — 시간적 비대칭이 임계치를 넘을 때
기후변화는 정렬 프레임워크에 대해 AI 전쟁과는 다른 종류의 스트레스를 가한다. AI 전쟁의 문제가 구조적 불가능성(안보 딜레마)에서 비롯된다면, 기후 정치의 문제는 인지적 왜곡에서 비롯된다. 위협은 실재하고, 해법도 원칙적으로 존재하며, 비용-편익 계산도 행동을 지지한다. 그럼에도 행동이 이루어지지 않는 것은, 그 계산이 인간의 심리적 시간 지평과 정치적 선거 주기에 의해 체계적으로 왜곡되기 때문이다.
“의심 제조(manufacturing doubt)” 전략은 이 왜곡을 의도적으로 심화시킨 공학이었다. 엑손모빌의 내부 연구진은 1970년대 후반부터 이미 화석연료 연소와 기온 상승의 인과관계를 파악하고 있었다. 그럼에도 수십 년에 걸쳐 체계적으로 과학적 불확실성을 과장하고, 기후 회의론자 네트워크에 자금을 지원하며, 정책 입안자에게 “아직 합의가 없다”는 메시지를 주입했다. 이것은 2편의 “정당화 기계” 분석의 가장 정교한 역사적 사례다 — 기회비용 계산을 왜곡하기 위해 현실 인식 자체를 왜곡하는 것.
그러나 여기서 프레임워크는 역설적으로 중요한 것을 발견한다: 의심 제조 전략이 필요했다는 사실 자체가, 기후 정렬의 가능성을 역설적으로 지시한다. 이익구조가 정말로 정렬을 불가능하게 한다면, 굳이 대규모 허위 정보 캠페인을 조직할 필요가 없다. 수십 년간 수십억 달러를 투입하여 과학적 합의를 희석시켜야 했다는 것은, 그 합의가 없었다면 정렬이 이루어졌을 가능성을 의미한다.
더 중요한 것은 인센티브 구조의 변화다. 태양광의 균등화 발전 비용(LCOE)은 2010년 대비 89% 하락했다. 육상 풍력은 70%, 해상 풍력은 60% 이상. 2024년 현재 신규 재생에너지 설비는 비용 면에서 기존 화석연료 발전을 대부분의 시장에서 이겼다. 이것은 인위적으로 설계된 인센티브가 아니라, 기술 발전이 기회비용 곡선 자체를 이동시킨 것이다. 몬트리올 의정서 사례로 돌아가면 — “대체 기술이 충분히 성숙하면 전환 비용이 낮아져 정렬이 가능해진다”는 조건이 기후 영역에서도 현실화되고 있다.
정치적 정렬은 경제적 정렬에 후행(lag)한다. 텍사스는 미국에서 풍력 발전 용량이 가장 큰 주이며, 그 풍력 전기는 공화당 지지 농촌 지역 토지 소유자들에게 임대 수입을 제공한다. 텍사스 공화당 의원들이 재생에너지에 공개적으로 반대하는 담론을 유지하면서도 자신의 선거구 내 재생에너지 프로젝트를 지지하는 이중성은, 경제적 정렬이 문화적·정치적 정렬에 앞서 작동하는 역학을 보여준다. 이익구조가 먼저 바뀌면, 담론은 결국 뒤따른다 — 느리게, 불균등하게, 하지만 결국 분배 정의의 문제는 해결되지 않았다. 기후 전환의 비용이 석탄 광부, 정유 노동자, 자동차 의존 교외 거주자에게 집중되는 한, 포퓰리즘은 이 집단을 동원하여 정렬에 대한 정치적 저항의 핵심 세력으로 조직할 수 있다. 공정 전환(just transition)의 부재는 단지 윤리적 문제가 아니라, 정렬의 정치적 지속 가능성에 관한 전략적 문제다. 아이러니하게도, 기후 정렬에 가장 강력하게 저항하는 집단을 기후 정렬의 수혜자로 만드는 것이 — 그 집단에게 경제적으로도 이익이 되도록 전환을 설계하는 것이 — 정렬의 가장 실용적인 경로다. 이것은 윤리적 처방이 아니라 이익 계산의 언어로 표현된 인센티브 설계다.
법원이 기후 정치에서 예상치 못한 제도적 강제의 경로를 열고 있다는 점도 주목할 만하다. 네덜란드 법원은 셸에게 2030년까지 탄소 배출을 45% 감축하라고 판결했다. 독일 연방헌법재판소는 기후 정책이 미래 세대의 기본권을 침해한다고 판결했다. 이 판결들은 기존 입법 과정이 산업 로비에 의해 지연되거나 약화될 때, 사법 체계가 대안적 제도적 강제의 경로가 될 수 있음을 보여준다. 완전하지도 않고, 모든 법체계에서 가능한 것도 아니지만 — 이 경로의 존재 자체가 정렬 프레임워크의 다중성을 확인한다.
최종 평가: 기후 정치 영역에서 정렬 프레임워크는 부분적으로, 불균등하게, 그러나 실질적으로 작동한다. 의심 제조가 수십 년간 프레임워크를 교란했지만, 기술 비용의 붕괴가 경제적 인센티브 구조를 이동시키고 있다. 제도적 강제는 입법이 아닌 사법을 통해 예상치 못한 경로를 찾았다. 문화적 내면화는 특히 젊은 세대에서 빠르게 진행 중이다. 시간적 비대칭이라는 근본 장애물은 여전히 존재하지만, 기후 피해의 현재화(허리케인, 홍수, 폭염의 증가)가 그 비대칭을 조금씩 좁히고 있다. 절망할 이유도, 낙관할 이유도 모두 있다. 프레임워크는 이 영역에서 결정적 답을 제공하지 못하지만, 어디를 밀어야 하는지는 정확히 보여준다.
VIII. 프레임워크의 정직한 자기 평가
두 스트레스 테스트를 통과한 지금, 정렬 프레임워크에 대한 정직한 평가를 내려야 한다.
프레임워크가 할 수 있는 것: 진단의 정밀화와 개입 지점의 식별. “왜 윤리적 행동이 이루어지지 않는가”라는 질문에, 프레임워크는 “사람들이 나쁘기 때문”이 아니라 “기회비용이 임계치를 넘었기 때문”, “인센티브가 잘못 설계되었기 때문”, “제도가 포획되었기 때문”, “문화적 정당화 기계가 작동하고 있기 때문”이라는 구조적 진단을 내린다. 이 진단은 처방의 방향을 바꾼다. 설교 대신 설계를, 비난 대신 구조 분석을, 영웅 대신 인프라를.
프레임워크가 할 수 없는 것: 정치적 의지의 창출. 프레임워크가 아무리 정교해도, 정렬을 실제로 실행하려면 정치적 의지가 있는 행위자들이 필요하다. 탄소세의 설계는 경제학자들이 수십 년 전에 완성했다. 다자기금과 같은 공정 전환 메커니즘도 설계 수준에서는 가능하다. 자율 살상 무기 금지 조약도 이론적으로 협상 가능하다. 문제는 설계의 부재가 아니라 의지의 부재다. 이익구조로부터 독립적인 의지가 어디에서 오는지를, 이 프레임워크는 설명하지 못한다. 문화적 내면화의 경로가 이 질문에 부분적으로 답하지만, 문화 변화의 시간 지평이 위기의 시간 지평과 맞지 않는다는 사실은 여전히 해결되지 않은 긴장으로 남는다.
그리고 프레임워크가 감추고 있는 것: 분배 문제. 정렬이 이루어지더라도, “누구의 이익과 누구의 윤리가 정렬되는가”라는 질문은 열려 있다. 탄소세가 도입되면 평균적으로 사회 전체에 이익이지만, 그 비용을 더 많이 부담하는 집단은 실재한다. AI 군비 규제에 동의하는 국가와 거부하는 국가 사이의 권력 격차는, 정렬이 새로운 불평등의 기반이 될 수 있음을 시사한다. “이익과 윤리의 정렬”은 누구의 이익과 누구의 윤리가 기준이 되는지에 따라 전혀 다른 모습을 가질 수 있다. 이것은 프레임워크의 실패가 아니라 한계이며 — 이 한계를 인식하고 분배 문제를 정렬 설계의 핵심 변수로 포함시키는 것이 바로 이 프레임워크의 다음 과제다.
IX. 마지막 테제: 정렬은 문명의 유지보수다
이 시리즈 전체를 한 문장으로 압축하면 이렇다: 윤리는 이익구조의 종속변수이고, 정렬은 그 종속관계를 관리하는 기술이다.
“관리”라는 단어를 의도적으로 선택했다. 해결이 아니라 관리다. 암을 정복하는 것이 아니라 혈당을 관리하는 것, 전쟁을 영원히 없애는 것이 아니라 분쟁을 제도화하는 것, 인간의 이기심을 제거하는 것이 아니라 그 이기심이 파괴적 결과를 낳지 않도록 채널링하는 것. 정렬은 이런 종류의 기술이다.
이 관리는 영구적인 작업이다. 왜냐하면 이익구조는 계속 변화하고, 변화하는 이익구조는 새로운 정당화 기계를 작동시키며, 기존의 정렬 메커니즘을 우회하거나 포획하기 때문이다. 엑손이 기후 회의론 캠페인에 자금을 댔듯, AI 기업들은 “책임 있는 AI”라는 언어를 자사의 규제 우회에 활용한다. GDPR을 준수하는 쿠키 배너가 다크 패턴으로 가득하듯, 제도는 항상 형식과 실질 사이의 간극을 통해 잠식된다. 정렬은 한 번 달성하는 목적지가 아니라, 잠식에 끊임없이 저항하는 과정이다.
이 의미에서 정렬은 문명의 유지보수(civilization maintenance)다. 인프라가 스스로 유지되지 않듯, 제도도 스스로 유지되지 않는다. 도로는 균열을 메우는 지속적 작업 없이는 붕괴하고, 민주주의는 견제와 균형을 갱신하는 지속적 작업 없이는 포획된다. 정렬 메커니즘 — 인센티브 설계, 제도적 강제, 문화적 내면화 — 은 한 번 만들어지면 작동을 멈추는 기계가 아니라, 지속적인 갱신과 보수를 요구하는 인프라다.
이것은 피로감을 유발하는 결론처럼 보인다. 끝이 없는 작업, 완성되지 않는 과제. 그러나 이 결론은 정직하다. 설교가 실패하는 이유는 그것이 영구적 해법을 약속하기 때문이다 — “사람들이 더 도덕적이 되면 모든 것이 해결된다”는 약속. 이 약속은 거짓이며, 거짓 약속에 기반한 전략은 반복적으로 실망을 낳는다. 끝이 없는 관리라는 결론은 덜 고양적이지만, 실패하지 않는다.
마지막으로. 이 시리즈의 프레임워크는 냉소주의가 아니다. “윤리는 이익의 종속변수”라는 테제를 “그러니 윤리는 환상이다”로 오독하는 것은, 진단을 처방과 혼동하는 것이다. 인간이 이익구조 안에서 움직이는 존재라는 사실은, 그 구조를 더 윤리적 행동이 이익이 되는 방향으로 설계할 수 없다는 뜻이 아니다. 오히려 그 반대다. 구조가 행동을 결정한다는 사실은, 구조를 바꾸는 것이 행동을 바꾸는 가장 효율적인 경로임을 의미한다.
설교는 개인에게 더 나은 인간이 되라고 요구한다. 설계는 평균적인 인간도 더 나은 행동을 하도록 구조를 바꾼다. 전자는 예외적 덕성에 의존하고, 후자는 평균적 이기심을 활용한다. 지속 가능한 윤리는 영웅을 필요로 하지 않는 시스템에서 나온다. 그 시스템을 만드는 것이, 이 시리즈 전체가 향하는 방향이었다.