행동경제학과 비합리성, 그리고 퀀트투자

퀀트 투자는 무엇을 먹고 사는가?

# 행동경제학의 태동과 인간 본성의 결점

위의 사진을 보고 당신은 무슨 생각이 들었는가? 자연스럽게 우리는 아무런 사고 회로의 작동 없이도 사진 속 여성이 매우 화가 났다는 것을 바로 느낄 수 있다. 그 이유는 우리의 뇌가 이성 체계를 사용하기 전에 자동적으로 직관 체계에 의해 반응하게 되어 있기 때문이다. 우리가 제어할 수 없는 인간의 직관, 감정, 그리고 각종 심리 기제들. 이러한 인간의 본성은 바로 행동경제학이 태동하게 된 출발점인 동시에 우리가 금융시장에서 알파를 발견할 수 있게 하는 원천이다.

행동경제학(Behavioral Finance)은 최근 들어 경제학 분야에서 새롭게 주목을 받는 이론이다. 이 새로운 부류의 학문은 기존의 고전 경제학에 행동 심리학의 원칙들을 적용시킨 경제학의 한 형태이다. 이는 금융 시장에서 반복적으로 발견되는 이상현상(Anamolies)과 비효율성(Inefficiencies)의 잠재적인 발생 원인을 설명하기 위한 도구로써도 널리 사용되고 있다. 투자자들이 그들의 의사결정 과정 속에서 어떻게 시스템적인 오류(Systematic Errors)를 만드는 가를 연구하고 있으며, 이를 통해 학자들은 투자의 심리적 측면을 설명해내고 있으며, 동시에 트레이더들은 이러한 특성을 사용하여 돈을 벌고 있다.

현재의 행동경제학의 많은 아이디어들은 사실 아모스 트버스키(Amos Tversky)와 다니엘 카너먼(Daniel Kahneman)에 의해 만들어졌다고 해도 과언이 아니다. 이들은 심리학자들로써, 사람들이 어떻게 경제적 효용과 관련된 선택을 하는가를 연구하였다. 특히, 다니엘 카너먼은 노벨경제학상을 수상한 최초의 심리학자로써, 우리가 기존에 알고 있는 고전경제학의 프레임을 아예 바꿔 놓은 행동경제학의 창시자이다. (다니엘 카너먼은 이러한 공로를 인정받아 2002년 노벨경제학상을 수상하였으나, 트버스키는 이전에 명을 달리하여 수상하지 못하였다.)

카너먼과 트버스키의 발견들 중 가장 유명한 것들에는 전망 이론(Prospect Theory)과 프레이밍(Framing)이 있다. 우선, 전망 이론은 ‘개인들이 손실을 실현하는 것에 주저하며 동시에 이익을 빠르게 실현하고자 하는 행태를 설명하는 이론’이다. 그들은 『전망 이론: 위험한 상황 속에서 내리는 결정 분석(Prospect Theory: An Analysis of Decision Under Risk』라는 논문을 통해 이러한 생각을 제시했는데, 이는 투자자들이 왜 선천적으로 불확실성, 즉 위험을 회피하려는 성향을 보이는지를 잘 설명하고 있다. 인간은 기본적으로 즐거움을 좋아하고, 고통을 싫어하기 때문에, 이익은 빠르게 취하고 싶어 하는 반면, 손실은 최대한 천천히 인식하려고 하기 때문이다. 그들이 제시한 예시를 한 번 보자.

여기 두 가지의 게임이 있다.

게임 1

선택지 1) 75% 확률로 $1000 획득 & 25% 확률로 $0 획득

선택지 2) 100% 확률로 $750 획득

게임 2

선택지 1) 75% 확률로 $1000 손실 & 25% 확률로 $0 손실

선택지 2) 100% 확률로 $750 손실

이러한 게임에 대해 선택을 하라고 했을 때, 대부분의 사람들은 게임 1에서 두 번째 선택을 하여 이익을 확실시하려고 한 반면, 게임 2에서는 첫 번째 선택지를 골라 손실에 대한 도박을 하려 하는 경향성을 띄었다. 왜 사람들은 일반적으로 이러한 선택을 하는 것인가? 그 이유는 위에서 말했던 인간의 위험 회피(Risk Averse) 심리 때문이다. 다시 말해, 이익과 손실에 대한 생각이 비대칭적이기 때문이다.

전망 이론과 더불어 중요한 이론들 중 또 다른 하나는 바로 프레이밍 효과(Framing Effect)이다. 프레이밍이란 ‘질문을 물어보는 방식에 따라 같은 질문을 하더라도 그에 대한 답변이 확연히 다를 수 있음을 설명하는 이론’이다. 카너먼과 트버스키는 1984년에 아래와 같은 간단한 예를 통해 프레이밍의 효과를 보여주었다.

어떤 한 그룹의 외과의사들에게 다음과 같은 두 가지 질문을 물어보고 선택을 하게 한다.

시나리오 1

미국에서 어떤 이름 모를 바이러스가 창궐하여 600 명의 사람이 사망하게 될 상황에 놓여있다. 현재 두 가지 대안이 준비되어 있는데, 만약 대안 1을 선택한다면 200명의 목숨을 구할 수 있다. 반면, 대안 2를 선택한다면 600명을 전부 구할 수 있는 확률이 1/3이고, 전부 목숨을 잃을 확률은 2/3이다. 두 가지 대안 중 어떤 대안을 선택하겠는가?

시나리오 2

미국에서 어떤 이름 모를 바이러스가 창궐하여 600명의 사람이 사망하게 될 상황에 놓여있다. 현재 두 가지 대안이 준비되어 있는데, 만약 대안 1을 선택한다면 400명의 사람이 목숨을 잃게 된다. 반면, 대안 2를 선택한다면 1/3의 확률로 모든 사람이 치료되지만, 2/3의 확률로 모든 사람이 사망하게 된다. 두 가지 대안 중 어떤 대안을 선택하겠는가?

우리의 직관 체계를 잠시 꺼놓고 이성 체계를 사용하여 위의 두 시나리오를 비교해본다면, 이 두 가지 시나리오는 서로 동일한 것임을 알 수 있다. 두 시나리오의 차이점은 오직 프레이밍의 방식이다. 시나리오 1은 긍정적 프레이밍을 사용하였고, 시나리오 2는 부정적 프레이밍을 사용하였다. 결괏값은 동일함에도 불구하고 이러한 프레이밍은 동일 질문에 대한 답변에 영향을 끼칠 수 있다. 카너먼과 트버스키는 외과의사 그룹의 72%가 시나리오 1에서 대안 1을 선택하였고, 시나리오 2에서는 대안 2를 선택했다는 것을 발견하였다. 하지만 이것은 매우 비논리적인 결과이다. 왜냐하면, 두 가지 시나리오와 각 대안의 결과는 완전히 일치하기 때문에, 시나리오 1에서 대안 1을 선택했다면, 당연히 시나리오 2에서도 대안 1을 선택하는 것이 논리적으로 맞는 것이기 때문이다. 이 또한 인간의 비합리적 의사결정 행태를 보여주는 대표적인 사례이다.

이 두 가지 이론 외에도 카너먼과 트버스키는 인간 심리학을 경제학에 적용하여 의사결정 과정에서 발생하는 사고 과정의 체계적인 오류의 패턴들을 발견했으며(닻 내리기 효과(Anchoring effect), 가용성 휴리스틱(Availability heurisitcs), 과잉 확신 편향(Overconfidence bias), 확증 편향(Confirmation bias), 최신 편향(Recency bias) 등의 편향들이 바로 그것이다. 다른 종류의 편향을 알아보기 위해서는 카너먼 교수의 『생각에 관한 생각』이라는 책을 읽어보자.), 이를 통해 결론적으로 ‘인간은 어떤 문제에 대한 결정을 함에 있어서 일관적이지 못한 선택들을 하는 경향이 있다’라는 것을 밝혀내었다. 이러한 논리는 금융시장에 적용되면서 필연적으로 하나의 질문으로 귀결되었다. 바로 “만약 개인들이 비일관적인 결정들을 한다면, 이러한 비이성적 행태가 금융 시장에서의 비효율성을 생성해내는 것은 아닐까?”하는 것이었다.

# 비이성적 투자자들

대부분의 사람들이 모든 투자자들은 이성적으로 판단하기 때문에 시장은 효율적일 수밖에 없다라고 믿고 있으나, 사실 이러한 명제는 거짓이다. 왜냐하면 시장의 효율성이라는 것은 비이성적 투자자들의 의사결정이 시장을 압도할 때는 충족될 수 없으며, 이렇게 비이성적 무리들이 시장을 주도하는 경우가 현실에서 매우 많기 때문이다.

예를 들어 어떤 뉴스가 발표되었을 때 비이성적 투자자들이 한쪽으로 쏠려서 큰 세력을 형성한다면, 그들은 이성적 투자자들에 의해 형성된 공정 가치(Fair Value)의 효력을 일소시키면서 시장의 비효율성을 생성해낸다. 이러한 시장의 군중심리는 언제나 시장에 존재하며, 주식, 채권, 외환, 원자재 등 어떠한 종류의 투자자산을 불문하고 존재한다.  군중 심리에 관한 뛰어난 명저를 저술한 찰스 맥케이(Charles Mackay)는 자신의 저서 『대중의 미망과 광기(Extraordinary Popular Delusions and the Madness of Crowds)』에서 ‘사람들은 군중이 되면 광기에 휩싸이지만, 천천히 한 명씩 한 명씩 제정신으로 돌아온다’고 서술한 바 있다.

이렇듯 비이성적 투자자들이 같은 방향으로 동시에 움직일 때, 시장은 비효율적이 되며, 이는 심지어 꽤 오랫동안 존재할 수 있다. 역사적으로 이러한 시장의 비효율성은 버블(Bubbles)과 패닉(Panics), 그리고 폭락(Crashes)을 낳았다. 버블이 형성되면 사람들은 더 이상 이성적인 판단을 하지 못하고 밸류에이션의 가치는 퇴색된다. 남들이 돈을 신나게 벌고 있을 때 가치투자를 한답시고 뒤쳐질 수는 없는 것 아닌가? 이러한 인간의 심리는 자기 혼자만 부자가 되지 못하는 데서 오는 굉장한 공포심으로부터 야기된다. 이쯤 되면 이성적인 투자자들도 자신의 투자원칙을 잃고 점점 비이성적으로 변하기 시작한다. 인간의 역사는 그 모습만 달리 할 뿐 본성으로 인한 비이성적 행위의 표출은 매우 반복적이어서 튤립 구근 버블부터, IT 버블, 코스닥 열풍, 부동산 열풍, 비트코인 광풍에 이르기까지 끊임없이 반복되고 있다.

로버스 실러(Robert Shiller) 예일대 교수는 어쩌면 우리에게 있어서 가장 잘 알려진 행동경제학자일 것이다. 실러 교수의 주식시장의 변동성에 관한 연구는 경제학자들이 주식시장을 바라보는 관점을 크게 변화시켰다. 1981년의 연구에서 그는 주식시장의 가격이 기업의 현금흐름보다 5배에서 13배 정도 더 변동성이 심하다고 말하였다. 주식의 가격은 근본적으로 기업의 예상 현금흐름의 변화와 비례하여 움직여야 하는 것이 정상이나, 실러 교수는 주식의 가격이 예측되는 배당의 변동성보다 훨씬 변동이 심하다는 것을 발견하였다. 이러한 발견에 기반하여 그는 한 가지 가설을 만들었다. 그것은 바로 '시장 가격의 초과 변동성(Excess volatility)은 투자자들의 심리적 행태 그리고 투자자들이 긍정적 뉴스와 부정적 뉴스 모두에 과도하게 반응을 한다는 사실에 기인한다.'는 것이었다. 물론 몇몇 학자들은 이러한 실러 교수의 가설을 반박하기도 했으나, 그의 이러한 주장은 가격의 움직임을 분석하는 과정에서 투자자의 심리적 효과를 고려하는 새로운 부류의 연구들에 영감을 주었다.

# 알파를 찾아서

위에서 살펴본 것처럼, 이미 수많은 연구들을 통해 금융시장에서는 비효율성이 존재할 수밖에 없으며 알파가 사라질 수 없는 이유에 대해 알아보았다. 그러나, 아직까지도 많은 사람들은 이러한 알파를 찾는 퀀트 트레이딩 전략이나 알고리즘 트레이딩 전략의 수익성에 굉장한 의문을 품고 있는 것이 사실이다. 혹자는 이런 질문을 할 수 있다. “어떻게 딱 정해진 규칙(Fixed rules)에 따라 매매 시그널을 발생시키는 이런 전략들이 인간의 자유재량과 상황에 따른 민첩한 판단력보다 더 우월한 성과를 창출할 수 있는가?”

이에 대한 답변은 이렇다 : “인간의 자유재량(Discretion)이라는 것은 결국 그들의 성과를 파괴시키는(Sabotaging) 행동으로 귀결된다. 인간의 본성은 다른 분야 - 예를 들면 문학, 예술, 공학, 건축 등과 같이 직관과 창의성을 요하는 분야 - 에서는 굉장히 가치 있는 도구가 될 수 있으나 순수한 합리성을 요하는 금융시장에서는 이러한 인간의 본성이 자기 파괴적으로 작용하게 된다.”

행동경제학은 이처럼 퀀트 투자의 이론적 배경으로 작용하고 있다. 결국 퀀트 투자는 겉보기에는 수학과 컴퓨터 공학으로 만들어진 기계처럼 보이지만 실상을 사람들이 가지고 있는 심리와 감정을 철저히 분석해야 하는 분야이다.