03. 게임 이론과 죄수의 딜레마
세상은 아주 복잡하게 돌아갑니다. 서로의 이해관계가 얽힌 상황에서 사람들은 자신의 이익을 극대화하기 위해 상대의 행동을 예측하고, 예측 결과에 따른 최적의 행동을 취하며, 때로는 상대를 기만하기도 합니다. 마치 상대를 무찌르고 이번 판을 승리하기 위해 고도의 전략을 짜는 복잡한 '게임' 같죠.
우리는 매 순간 선택을 하고, 그 선택은 다른 이들의 선택과 얽히며 예상치 못한 결과를 만들어냅니다. 오늘 알아볼 경제학의 게임 이론(Game Theory)은 이러한 세상의 혼돈을 해석할 수 있는 강력한 도구가 됩니다.
게임 이론은 경제학에서만 쓰이는 개념이 아닙니다. 트럼프의 관세 전쟁을 '치킨 게임'이라고 말하는 기사를 많이 보셨을 겁니다. 치킨 게임 역시 게임 이론의 주요 모델 중 하나입니다. 게임 이론은 외교와 정치 분야에서도 협상 상대국의 이해관계를 파악하고 행동을 예측해 전략을 구성하거나, 세계 각국의 복잡한 상호작용을 분석하는 데 아주 유용하게 쓰이는 이론입니다.
게임 이론 중 가장 널리 알려진 예가 바로 죄수의 딜레마(Prisoner's Dilemma)입니다. 그 내용을 함께 살펴봅시다.
아주 잔인한 범죄를 저지른 두 명의 공범이 각각 다른 방에서 심문을 받게 됩니다. 그리고 각각의 죄수는 자백할지 말지 선택을 해야하죠. 두 사람이 모두 침묵하면 2년형을 선고받지만, 한쪽이 자백하면 자백한 쪽은 1년형을, 다른 한쪽은 가중 처벌로 10년형을 선고받습니다. 두 사람이 모두 자백을 선택하는 순간, 두 사람 모두 5년형을 선고받게 됩니다.
위 내용을 한 눈에 파악하기 쉽게 매트릭스 형태로 나타내보겠습니다.
게임 이론을 구성하는 세 가지 요소는 다음과 같습니다.
① 참가자: 게임에 참여하여 의사결정을 내리는 주체
② 전략: 각 참가자가 택할 수 있는 선택지
③ 보수: 게임이 종료되었을 때 각 참가자가 얻게 되는 보상으로, 둘로 나뉜 각 칸에서 좌하방의 값은 A의 보상을, 우상방의 값은 B의 보상을 나타냅니다. 형을 선고받는 것은 부정적 요소이므로, 음(-)의 값으로 보수를 표현했습니다.
이 게임에서 범죄자 A와 B는 어떠한 전략을 선택할까요? 그리고 그 결과, 각 참가자는 어떤 값의 보수를 획득하게 될까요? 게임 이론에서 균형을 찾는 방법은 아주 다양하지만, 그 중 가장 대표적인 것이 바로 내쉬 균형(Nash Equilibrium)입니다.
내쉬 균형이란, 게임의 경기자 모두 상대방의 전략에 대해 최선의 대응 전략을 구사하고 있는 상황을 의미합니다. 최선의 대응이란, 상대 경기자가 취할 수 있는 각각의 전략에 대하여 자신에게 가장 유리한 결과를 발생시키는 대응입니다. 따라서 상대의 전략이 동일하다는 가정 하에, 내 선택을 바꿀 유인이 없는 매우 안정적인 상황이죠.
문장만으로는 어떤 의미인지 확실히 알기 어려우니, 보수 매트릭스에서 내쉬 균형의 정의에 따라 직접 내쉬 균형을 찾아봅시다. 즉, 상대 경기자가 취할 수 있는 각각의 전략에 대하여 A, B에게 가장 유리한 결과를 발생시키는 대응 전략을 차근차근 도출해봅시다.
우선 A의 입장에서 상대 B가 침묵을 택했다고 가정한 경우, A는 침묵과 자백 중 어떤 전략을 선택하는 것이 유리할까요? A가 침묵을 택하면 -2의 보수를, 자백을 택하면 -1의 보수를 얻을 수 있으므로 자백을 택하는 것이 유리합니다.
또한, A의 입장에서 B가 자백을 택했다고 가정한 경우, A가 침묵을 택하면 -10의 보수를, 자백을 택하면 -5의 보수를 얻을 수 있으므로 이 때 역시 A는 자백을 택할 것입니다.
B의 입장에서도 똑같이 생각해봅시다. 상대 A가 침묵을 택했다고 가정한 경우, B는 침묵과 자백 중 어떤 전략을 선택하는 것이 유리할까요? B가 침묵을 택하면 -2의 보수를, 자백을 택하면 -1의 보수를 얻을 수 있으므로 자백을 택하는 것이 유리합니다.
또한, B의 입장에서 A가 자백을 택했다고 가정한 경우, B는 침묵을 택하면 -10의 보수를, 자백을 택하면 -5의 보수를 얻을 수 있으므로 역시 B는 자백을 택할 것입니다.
내쉬 균형을 찾기 위한 모든 절차가 끝났습니다. 두 참가자의 선택이 겹치는 (자백,자백)이 바로 이 게임에서의 내쉬 균형이 됩니다. 범죄자 A와 B 모두 자백을 택할 것이고, 이 때 각 범죄자는 5년형을 선고받게 됩니다.
그런데 말입니다, 조금 이상한 것이 있습니다. 범죄자 두 명이 협력하여 모두 침묵을 지켰다면 각 범죄자가 2년형을 선고받는, 모든 참가자에게 더 나은 결과가 도출되었을 겁니다.
두 범죄자는 주어진 상황 하에서 자신의 이익을 극대화하고자 최선을 다해 전략을 선택했지만, 그것이 게임 전체의 입장에서는 최선의 결과를 낳지 못한 것입니다. 협력하면 모두에게 이득이지만, 개인 입장에서의 합리적 선택이 모여 오히려 집단적으로는 비합리적 결과를 낳았죠. 이러한 형태의 게임이 죄수의 '딜레마'라고 불리는 이유입니다.
이 원리는 단순히 범죄자의 심문이라는 특수한 경우에만 국한되는 것이 아닙니다. 우리는 사회 속에서 본인의 이익 극대화만을 추구하다가 결국 서로에게 더 나쁜 방향으로 상황이 전개되는 경우를 흔히 찾아볼 수 있습니다. 국가 간 무역 협상, 기업 간 개발 경쟁, 환경 보호의 책임, 팀 프로젝트에서 동료와의 협력 등 아주 다양한 상황에서 이러한 비극이 발생할 수 있죠.
기업 간 광고 경쟁을 떠올려봅시다. 한 산업에 두 경쟁 기업 A와 B가 존재한다고 가정하면, 두 기업이 모두 막대한 광고비를 쏟아부어 경쟁하는 것보다 광고비를 줄여 이윤을 극대화하는 것이 모두에게 이득입니다. 하지만 경쟁사가 우리 기업보다 앞서 나갈까하는 불안감에 서로 불필요한 경쟁을 멈추지 못합니다.
한 회사만 광고를 한다면 그 회사는 고객을 이전보다 많이 끌어들일 수 있을지 모릅니다. 그러나 두 회사가 모두 광고를 한다면 이야기는 달라지죠. 어차피 두 회사 모두 광고를 하기 때문에, 각각의 회사는 광고비만 추가로 쓸 뿐 광고를 하지 않는 것과 비슷한 정도의 판매량을 유지하는 수준에 그칠 것입니다. 결국, 두 회사의 이윤은 크게 늘지 않으면서 광고비만 불필요하게 증가하는 상태에 도달하게 되죠.
그러나 게임 이론에 대한 이해를 바탕으로 이러한 상황을 미리 분석하면, 불필요한 경쟁을 피하고 서로에게 더 나은 전략을 모색할 수 있습니다. 사회 전체 입장에서도, 각 참가자에게도 더 이득이 되는 효율적인 결과를 얻을 수 있겠죠.
이처럼 게임 이론은 우리 사회 속의 복잡한 이해관계를 풀어내는 역할을 합니다.
게임 이론은 가격 책정, 시장 진입 여부 등 회사의 경영 전략 뿐 아니라 국가 간 협상, 군비 경쟁 등 정치·외교 분야, 심지어는 데이트, 직장 내 협업, 가족 간의 갈등처럼 일상의 관계에서도 상대의 입장을 파악하고 더 나은 선택을 할 수 있도록 도와줍니다.
우리가 살아가는 세상은 거대한 게임판 위에서 끊임없이 전략을 고민하는 참가자들의 집합과 다름 없습니다. 게임 이론을 안다는 것은, 우리가 서 있는 게임판의 규칙을 이해하는 것과 같습니다. 무의미한 갈등을 피하며 모두가 더 나은 방향으로 나아갈 수 있는 전략을 모색하고, 예측 불가능한 세상 속에서 가장 현명한 선택을 할 수 있는 능력을 갖게 되는 것이죠.
우리는 살아가며 타인의 의도에 대해 궁금증이 생기거나, 구성원 간 상호작용의 결과 상식적으로 이해가 어려운 결과가 도출되는 경우를 종종 마주하곤 합니다. 마치 범죄자들이 더 나은 대안이 있음에도 불구하고 최악의 결과를 불러오는 선택을 하게 되는 것처럼 말이죠. 이 때, 게임 이론을 적용해보면 복잡한 현상에 대한 이해와 해석이 보다 수월해집니다.
게임 이론을 알게 된 순간, 여러분들은 아주 예리하게 세상을 바라보는 또 하나의 눈을 갖게 된 셈입니다. 게임 이론에 대한 이해는 수많은 선택지 사이에서 고민하고 있는 여러분들께 작은 지혜를 불어넣어 줄 것입니다.
이제 여러분들의 선택만이 남았습니다. 그저 게임판 구석의 한 참가자로 남으실 건가요, 혹은 게임의 룰을 완벽히 이해하고 상대를 간파해 판을 지배하는 자가 되실 건가요?