파워 퀀트의 독일 여행

6. 정직함

요즘 우리 회사는 퀀트 채용에 붐이 일었다. 내가 처음 들어왔을 땐, 3명밖에 없던 퀀트가 지금은 9명이 되었고, 여기서 두 명을 더 뽑는다고 한다. 요즘 머신 러닝, 더 넓게는 AI가 계속 화두가 되면서, 회사도 그 유행을 따라가려나보다.

퀀트에 지원하는 분들은 대게 최소 석사를 마쳤다. 그리고 분야도 컴퓨터, 물리학, 그리고 나처럼 통계학을 전공했다. 이들은 서류를 거치고, 1차 면접, 그리고 두 번의 코딩 테스트를 거쳐 선발된다. 이렇게 뽑힌 사람들은 대게 머리가 좋다.

그런데 이 채용 과정에서 아쉽게도 지원자의 "정직함"은 측정할 수 없다. 면접과 코딩 테스트를 거친다고 해서 이 사람이 정직한 지 아닌 지를 단번에 파악하기란 어렵다. 정직은 시간이 지나 천천히 모습을 드러내기 때문에 대부분 입사를 한 후 수면 위에 오른다.

퀀트에겐 (두뇌보다는) 정직함이 제1 덕목이라고 나는 생각한다. 예를 들어, 모델링을 마친 뒤 Backtesting (현재 모델을 과거 데이터로 테스트해 그 수익성을 보는 단계)한다고 해보자. 그럼 대부분 퀀트는 수익성이 뛰어난 모델을 팀장에게 선보인다. 그때 팀장이 이런 말을 한다면 그는 정직의 중요성을 아는 사람이다 (다행히 우리 팀장도 이런 말을 자주 한다).

"Too good to be ture"

이 말을 들은 뒤, 팀장이 (혹은 팀 전체가) 그 모델을 검증하면 대게 Data Leakage가 발생한 경우가 많다. Data Leakage란 모델이 예측할 때 사용할 수 없는 정보를 사용하는 현상을 의미한다. 극단적인 예를 들어, 주식 가격을 예측하는 데 주식 가격을 입력값으로 사용하는 경우다. 모델이 주식 가격을 예측할 때는 실제 주식 가격을 절대로 알 수 없다.

이 Data Leakage는 대부분 실수에서 비롯된다. 만약 실수였다면 다음번엔 이 Data Leakage를 조금 더 눈여겨보면 된다. 그런데 만약 실수가 아니라, 많은 모델을 출시하면서 자신의 성과를 높이기 위해, 고의적으로 Data Leakage를 한다면, 이는 퀀트로서 큰 결격사유다.

작년 (2024년 6월 즈음)에 시니어급 퀀트 (그는 핀란드에서 왔다)가 새로 들어왔었다. 그는 자신이 개발한, 수익성이 아주 훌륭해 보이는 모델을 임원진들에게 선보이며 이 회사에 들어올 수 있었다. 그리고 그 모델은, 그가 입사한 4개월 동안, 그의 월급에도 미치지 못한 수익성을 냈다. 그는 결국 해고됐다.

그가 해고된 뒤, 내 동료 (인도에서 왔다)는 나에게 말해주었다.

"민호. 사실 나는 그의 코드를 분석했었고, 거기서 심한 Data Leakage를 발견했어. 내가 그에게 그 문제점을 말해주었지만 그는 듣지 않았어."

Data Leakage를 핀란드 친구가 인정하고 수정했더라면 그는 지금도 내 옆자리에서 일하고 있을지도 모른다.

정직은 큰 용기가 필요하다. 내 잘못을 인정하고 낮출 수 있는 용기가 필요하다. 그러나 우리가 잘못을 인정하면서, 잃는 자산보다 얻는 재산이 더 많다고 생각한다. 적어도 퀀트의 세계에서는 그렇다.