[금융·시장·기술] 인공지능 퀀트, 이론 끝 실전 시작

수습부원 강재현

퀀트, 알고리즘에서 인공지능으로

“여러분의 주식 계좌는 안녕하십니까? 혹시, 여기 돌보다 수익률이 낮지는 않으십니까?

만약 아주 짧은 시간 안에 막대한 이익을 볼 수 있는 방법이 있다면, 여러분은 그 기회를 잡을 생각이 있으십니까?”

어쩌면 이런 질문은 과거에 사기꾼들이나 던지던 말처럼 들렸을지도 모른다. 하지만 지금은 다르다. 수학과 알고리즘, 그리고 인공지능(AI)까지. 더 빠르고 더 정확하게 금융 시장을 읽고, 매매를 실행하는 시대는 이미 도래했다.

퀀트 트레이딩(Quantitative Trading)은, 수학적 모델과 알고리즘을 이용하여 감정 개입 없이 시장을 분석하고 거래를 수행하는 방식이다. 특히 고빈도 트레이딩 (High-Frequency Trading, HFT)처럼 밀리초 단위로 거래가 이루어지는 영역에서는, 미리 정해진 규칙에 따라 빠르게 의사결정을 수행하는 알고리즘의 속도와 일관성이 결정적이었다. 하지만 금융 시장은 점점 더 복잡해졌다. 정형화된 수치만으로 설명할 수 없는 심리, 뉴스, 소셜미디어 등 비정형 데이터가 중요해졌고, 변수 간의 관계는 단순한 비례나 직선으로 표현되는 형태가 아닌, 여러 요인들에 의해 변화하는 특성인 비선형성을 띄고 있다. 말 그대로, '수치만 맞추면 되는 시장'은 이미 지나간 것이다. 바로 이 지점에서 “인공지능(AI)”이 필요해지기 시작했다.

최근 몇 년 사이 우리는, AI가 인간을 뛰어넘는 순간들을 직접 체감하고 있다. AI는 이미지를 분류하고, 복잡한 시각 정보를 해석하며, 긴 문서를 요약하는 등 과거에는 '사람만이 할 수 있다'고 여겨졌던 일들을 빠르고 정확하게 해낸다.

최근 스탠포드 대학에서 발표한 연구 자료에 따르면, AI는 이미지 분류, 시각 자료 해석, 영어 이해 등 다양한 분야에서 이미 인간 평균을 넘어서는 성능을 보여준다는 것을 알 수 있다. 더 이상 계산 보조 역할에 그치지 않고, 판단과 전략 수립까지 스스로 해내는 시대가 열린 것이다. 이 거대한 변화는 금융시장, 특히 퀀트 트레이딩 분야에 깊숙이 스며들고 있다. 과거에는 규칙 기반 알고리즘이 퀀트 트레이딩 분야를 지배했다면, 이제는 AI가 시장 심리를 읽고 스스로 최적화된 전략을 설계하는 시대가 도래한 것이다.

이 글에서는, 전통적인 퀀트 트레이딩 모델과 이의 한계를 살펴보고, AI가 이 한계를 어떻게 극복할 수 있는지, 그리고 우리는 이 변화를 어떻게 활용할 수 있을지를 구체적으로 탐구하고자 한다.

전통적 퀀트 트레이딩 방식과 한계

서론에서 살펴본 것처럼, 퀀트 트레이딩은 인간의 감정적 개입을 최소화하고, 수학적, 통계적 분석을 기반으로 투자 전략을 구사하는 방식으로 발전해왔다. 퀀트 트레이딩 초기(1980 ~ 1990년대)에는 “회귀 분석”을 기반으로 시장 데이터를 해석하고 미래 수익률을 예측하려는 시도가 주를 이루었다. 특정 종목의 수익률이 금리, 인플레이션, 경제성장률 등 거시경제 변수에 어떻게 반응하는지를 분석하여 투자 전략을 수립하는 방식이다. 이 시기의 퀀트 트레이딩은 기본적으로 변수 간 선형적 관계를 가정하고 설계된 것이 특징이다. 1980년대부터 2000년대 사이의 시기엔 금융 시장의 고도화와 함께, 금융공학 모델이 퀀트 트레이딩 전략에 적극적으로 도입되기 시작했다. 특히, 물리학 분야의 연구 자금 축소로 인해 많은 물리학자들이 금융 산업으로 진출한 시기이다. 이들은 고급 수학과 컴퓨터 기술을 활용하여 금융 모델을 개발하고 퀀트 트레이딩 전략을 구현해냈는데, 이 때 만들어진 모델들이 바로 블랙-숄즈(Black-Scholes)모델과 CAPM(Capital Asset Pricing Model)이다. 블랙-숄즈 모델은 옵션 가격 평가를 수학적으로 가능하게 하였고, CAPM은 자산 가격과 시장 위험간의 관계를 정량화하는 것에 기여했다.

그러나 이러한 전통적 퀀트 트레이딩 모델들은 금융 시장의 복잡성과 변동성을 충분히 반영하지 못하는 한계를 지니고 있다. 모델이 구조화된 수치 데이터에 국한되기 때문이다. 즉, 뉴스, 특정인의 소셜미디어 게시물(가령 트럼프의 트윗이라던지, 일론 머스크의 트윗이라던지,..)과 같은 텍스트 비정형 데이터를 효율적으로 처리함에 있어서 한계를 드러낸다. 또한 비선형적 관계 학습이 어렵다. 회귀분석이나 금융공학 모델은 변수 간의 관계가 선형적이라는 전제를 기반으로 하고 있다. 그러나 실제 금융 시장에서는 변수간의 상호작용이 매우 복잡하고, 비선형적인 형태를 보이는 경우가 많다. 이러한 비선형적 특성은 전통적인 모델의 예측 정확도를 현저히 떨어뜨리는 요인이 된다.

결정적으로 시장 변화에 대한 실시간 대응이 어렵다는 문제점이 있다. 블랙-숄즈 모델과 같은 금융공학 모델은 기본적으로 정적인 환경을 가정하고 설계되었기 때문에, 급격한 시장 변화에 유연하고 신속하게 대응하기 어렵다. 이는 Hull과 White (2017)의 연구를 통해 기존 금융 모델이 금융 위기나 시장 충격 같은 극단적인 사건에 신속하게 대응하지 못한다고 지적한 점에서 확인할 수 있다. 최근 금융 시장은 알다시피 정치적 상황이나 갑작스러운 경제 지표 발표 등 다양한 사건들에 의해 순간적으로 급변할 수 있는 현대 사회에서, 전통적 모델의 느린 반응 속도는 심각한 손실을 초래할 수 있다.

AI 모델의 종류와 성과

이러한 전통적 퀀트 모델의 여러 한계들을 극복하기 위해서 다양한 AI 기반 모델들이 금융 시장 예측에 활발히 적용되고 있다. 대표적으로 LSTM, Transformer, XGBoost 모델이 있다. 이 세 가지 모델은 서로 다른 구조와 예측 목표에 최적화되어 있으며 금융 시장의 시간 의존성,, 고빈도의 변동성, 실무 적용성이라는 서로 다른 영역에 특화되어있어, 이 글에서는 이러한 세 모델을 중심으로 특징과 성과를 분석하고자 한다.

최근 데이터 뿐 만 아니라 오래 전의 데이터까지 기억하고 활용하여 효과적으로 처리할 수 있는 LSTM(Long Short-Term Memory)모델의 경우, 금융 시계열 데이터의 복잡한 비선형적 패턴을 잘 학습할 수 있다. 이는 Hochreiter와 Schmidhuber(1997)의 연구에서 시계열 데이터 내의 장기 의존성, 즉, 시간적으로 멀리 떨어진 과거의 정보가 현재의 상태에 영향을 주는 경우를 효과적으로 포착하여 기존의 선형 모델보다 뛰어난 예측 정확도를 제공할 수 있다는 연구 결과를 통해 확인할 수 있다. LSTM은 이러한 장점을 바탕으로 특히 중장기적인 시장 예측에 뛰어난 성과를 나타낸다.

Transformer 모델의 경우는 금융 시장의 초단기 및 고빈도 트레이딩에 특히 효과적인 성능을 보인다. 이 모델은 자기 주의 메커니즘(Self-attention mechanism)을 통해서 시계열 데이터의 광범위한 패턴을 병렬적으로 처리할 수 있다는 것이 큰 장점이다. 이러한 장점을 이용하여, 순차적 정리 방식인 LSTM과는 다르게 시장에서 나타나는 급격한 변화를 더욱 신속하고 정확하게 포착할 수 있다. 실제로 글로벌 헤지펀드 Citadel은 Transformer 모델을 초단기 시세 예측 모델로 활용하여 높은 성과를 기록하고 있다고 한다.

XGBoost 모델은 트리 기반 모델이다. XGBoost는 데이터의 비선형적 관계를 빠르게 학습하여 금융 데이터 분석에서 우수한 성능을 나타낸다는 특징이 있다. 특히 모델의 처리 속도가 빠르고 해석 가능성이 뛰어나기 때문에 실무에서 매우 선호되는 모델이라고 알려져 있다. Chen과 Guestrin(2016)의 연구에서도 XGBoost가 전통적인 통계적 방법론 대비 월등히 뛰어난 성능을 보이며, 다양한 금융기관과 퀀트 펀드들에서 널리 활용되고 있다고 밝히고 있다.

그렇다면, 어떻게 투자할 것인가?

이 부분이 이 글에서 가장 핵심이 되는 내용일 것이다. 그래서, 어떻게 투자할 것인가? 기존의 투자 방식은 정성적 판단에 크게 의존하거나, 단순 기술적 지표에만 근거하는 경우가 많았다. 그러나 필자는 이제까지 설명해온 인공지능의 장점들을 활용하여, 인공지능 모델과 정량적 기술 분석을 결합함으로써 보다 일관되고 자동화된 투자 전략의 가능성을 제시하고자 한다.

이를 위해 필자는 한국투자증권 api를 활용하여 수집한 2025년 4월부터 5월 20일 까지의 삼성전자 주가 데이터를 바탕으로 XGBoost 기반 주가 상승 예측 모델을 제작 및 학습시켰고, 이를 기반으로 매수, 매도 신호를 생성하고 검증하는 시스템을 파이썬과 스트림릿으로 구축하였다.

실험에 사용된 원본 데이터는 일자별 종가(Close), 시가(Open), 고가(Heigh), 저가(Low), 거래량(Volume)이었으며, 각종 기술적 지표 파생 변수의 계산에 활용되었다. 해당 데이터를 바탕으로 단순이동평균선(SMA), 지수이동평균선(EMA), MACD, MACD Signal, MACD Histogram, RSI, 볼린저 밴드 상단 (BB Upper), 볼린저 밴드 하단 (BB Lower), 거래량 비율 (Volume Ratio), 전일 대비 상승률에 해당하는 10개의 기술적 지표를 파생 변수로 생성하였으며, 이를 XGBoost 모델의 학습에 사용하였다. 모델은 종가의 상승 여부를 1, 하락 여부를 0으로 분류하는 이진 분류 문제로 정의하게끔 설계했으며 단순히 상승 및 하락을 분류하는데 그치지 않고 자동 매매 트리거를 제공할 수 있도록 하기 위해서 조건 기반 로직을 구성하였다.

매수 신호는 ① 예측된 주가 상승 확률이 0.7 이상, ② 현재가가 10일 EMA 위에 위치, ③ RSI가 50 초과, ④ MADC가 Signal을 상회 라는 네 가지 조건을 모두 만족할 때 발생하게 설계했고, 매도 신호는 예측된 상승 확률이 0.4 이하일 때 ① 현재가가 EMA 아래, ② RSI가 45 미만, ③ MADC가 Signal보다 낮음 이라는 세 가지 조건중 하나 이상을 만족할 때 발생하게 설계했다. 또한 매수 이후 최고가 대비 일정 비율 하락 시 매도 신호를 발생하게 하는 ‘트레일링 스탑’ 조건도 설정하여 리스크 관리를 강화할 수 있게끔 설계하였다.

그럼 지금부터는 이러한 논리를 기반으로 실제 모델을 실행시켜 봤을 때의 결과에 대해서 설명하겠다. 우선 모델의 예측 성능을 검증한 결과는 아래의 이미지와 같다.

[그림 5]부터 자세히 설명해 보자면, 이 AI 모델은 전체 데이터셋에 대해서 정확도가 83%로 비교적 양호한 정도의 정확도를 나타냈음을 확인할 수 있었다. 클래스 0 (하락)의 경우, recall은 0.91로 상대적으로 높았으며 클래스 1 (상승)의 경우 recall 0.71의 결과를 보였다. 클래스 1의 경우에 있어서 recall이 0.71이라는 것은 상승 예측에 있어서 일부 누락이 발생했음을 시사하나, 반대로 말하자면 상승 예측이 이루어졌을 경우 실제 상승할 확률은 매우 높았다는 것에서 실전 투자 관점에서는 의미있는 결과라고 할 수 있었다.

[그림 6]은 모델의 혼동 행렬을 시각화한 이미지이다. 총 18건의 예측에서 15건은 정확하게 예측되었으며 오분류된 경우는 상승을 하락으로 (2건), 하락을 상승으로 (1건) 잘못 판단한 경우였다. 이는 모델이 지나치게 보수적이거나 낙관적인 판단 없이 비교적 균형잡힌 예측 성향을 가지고 있음을 의미한다. 특히 2025년 5월 12일 장 시작 전, AI는 상승 확률을 91.05%로 예측하여 강한 매수 신호를 발동시켰다. 실제로 이날 주가가 상승하며 모델의 판단이 적중한것을 확인할 수 있었다.

결과적으로 해당 모델은 과거 데이터를 단순히 암기하거나 모방하는 수준을 넘어서서, 실제 시장 흐름에 반응하는 형태의 판단 구조를 가지고 있음을 알 수 있었다.

직접 모델을 제작해서 실행해보고 얻은 결과들을 통해 인공지능을 활용한 모델이 단기 투자 전략에서 의사결정 도구로서 실질적인 활용 가능성을 가지고 있음을 확인할 수 있었다. 특히 사람이 감으로 판단하기 어려운 미세한 신호들을 기술 지표들 간의 상호작용을 통해 빠르게 파악하고 정량적 판단 근거에 따라서 매수, 매도 결정을 자동화할 수 있다는 점이 인공지능 모델의 강력한 장점이다. 더 이상 투자는 ‘감’의 영역이 아닌 ‘계산’의 영역이며 ‘막연한 추측’이 아닌 ‘학습된 판단’의 영역이라고 할 수 있다. 인공지능은 이제 선택이 아니라 필수적인 도구가 되어가고 있다는 것이다. 이 글을 여기까지 읽은 독자라면, 자신만의 인공지능 모델을 직접 만들어보는 것은 어떤가? 단 한 줄의 코드에서 시작된 그 시도는, 당신의 투자 전략에 가장 강력한 무기가 될 지도 모른다.

[부록] 기술적 지표 용어 설명

단순이동평균선 (SMA)

일정 기간(가령 10일) 동안의 종가 평균을 단순히 나눈 값이다. 주가의 장기적인 평균 흐름을 보여주며, 현재 주가가 SMA 위에 있으면 상승 추세로 해석할 수 있다.

지수이동평균선(EMA)

최근 데이터에 더 높은 가중치를 부여한 평균선을 의미한다. SMA보다 반응 속도가 빠르고 단기 추세 변화를 민감하게 감지할 수 있다.

MACD

12일 EMA와 26일 EMA의 차이를 의미한다. 추세의 방향성과 전환 시점을 감지하는데 사용한다.

MACD Signal

MACD의 9일 EMA로 계산된다. MACD가 이 선을 상향 돌파하면 매수 신호, 하향 돌파하면 매도 신호로 해석된다.

MACD Histogram

MACD와 Signal 선의 차이값이다. 막대 그래프로 표시되며, 추세의 강도와 모멘텀 변화를 시각적으로 보여준다.

RSI

최근 일정 기간 (보통은 14일이다) 동안의 상승폭과 하락폭을 비교하여 과매수, 과매도 상태를 진단한다.

볼린저 밴드 상단 (BB Upper)

주가의 20일 이동평균선에 표준편차의 2배를 더한 값을 의미한다. 주가가 상단선을 뚫으면 단기 과열로 해석할 수 있다.

볼린저 밴드 하단 (BB Lower)

주가의 20일 이동평균선에 표준편차의 2배를 뺀 값이다. 하단선 근접 시 과매도 구간으로 해석할 수 있다.

거래량 비율 (Volume Ratio)

현재 거래량을 과거 평균 거래량과 비교한 지표를 의미한다. 값이 1보다 크면 거래량이 급증한 것이며 이는 주가 변동의 전조일 수 있다.

전일 대비 상승률

전일 종가 대비 당일 종가의 등락률을 의미한다. 단기 모멘텀을 파악하는 데 활용한다.

참고자료

문헌

Black, F., Scholes, M., 「The Pricing of Options and Corporate Liabilities」, Journal of Political Economy, 81(3), 1973, pp. 637–654.

Elton, E. J., Gruber, M. J., Brown, S. J., Goetzmann, W. N., 「Modern Portfolio Theory and Investment Analysis, 9th Edition」, Wiley, 2014.

Hull, J., & White, A., (2017). 「Optimal Delta Hedging for Options.」 Journal of Derivatives, 24(3), 53–65.

Kaiser, R., Maravall, A., 「Notes on Time Series Analysis, ARIMA Models and Signal Extraction」, Banco de España, 2001, pp. 30–66.

Kim, K. J., & Won, D., (2018). 「Predicting Stock Price Movements with Nonlinear Models: Neural Networks vs. Support Vector Machines.」 Expert Systems with Applications, 37(7), 5166–5171.

Lo, A. W., 「A Non-Random Walk Down Wall Street」, Princeton University Press, 1999, Chapter 2.

Maslej, N. et al., 「Artificial Intelligence Index Report 2025」, Stanford University Human-Centered Artificial Intelligence, 2025, pp. 93–95.

삼성증권 (김동영), 「AI와 퀀트 투자」, 2024-11-07.

Sharpe, W. F., 「Capital Asset Prices: A Theory of Market Equilibrium under Conditions of Risk」, The Journal of Finance, Vol. 19, No. 3, pp. 425–442.

Tetlock, P. C., (2007). 「Giving Content to Investor Sentiment: The Role of Media in the Stock Market.」 The Journal of Finance, 62(3), 1139–1168.

Chen, T., & Guestrin, C., 「XGBoost: A scalable tree boosting system」, Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, pp. 785–794.

Hochreiter, S., & Schmidhuber, J., 「Long Short-Term Memory」, Neural Computation, Vol. 9, No. 8, 1997, pp. 1735–1780.

Zhang, Y., Aggarwal, C. C., & Qi, G. J., 「Stock Price Prediction via Discovering Multi-Frequency Trading Patterns」, Proceedings of the 23rd ACM SIGKDD Conference, 2017, pp. 2141–2149.

Fischer, T., & Krauss, C., 「Deep learning with long short-term memory networks for financial market predictions」, European Journal of Operational Research, Vol. 270, No. 2, 2018, pp. 654–669.

Sirignano, J., & Cont, R., 「Universal features of price formation in financial markets: perspectives from deep learning」, Quantitative Finance, Vol. 19, No. 9, 2019, pp. 1449–1459.

Vaswani, A., Shazeer, N., Parmar, N., et al., 「Attention is all you need.」, Advances in Neural Information Processing Systems」, 2017, pp.5998-6008.

Derman, E., 「My Life as a Quant: Reflections on Physics and Finance」, Wiley, 2004, pp. 69

웹페이지

Macroption, “History and Development of the Black-Scholes Model,” 2024

Investopedia, “Simple Moving Average (SMA)”, 2024.

Investopedia, “Exponential Moving Average (EMA)”, 2024.

Investopedia, “MACD (Moving Average Convergence Divergence)”, 2024.
Investopedia, “MACD Histogram and Signal Line Explained”, 2024.

Investopedia, “Relative Strength Index (RSI)”, 2024.

Investopedia, “Bollinger Bands: What They Are”, 2024.

Investopedia, “Volume Ratio and Volume-Based Indicators”, 2024.

Investopedia, “Price Change and Rate of Change (ROC)”, 2024.

그림 및 도표

[그림 1] 나무위키 ‘돌멩이(주식)’ 문서에서 발췌.

[그림 2] Stanford Institute for Human-Centered Artificial Intelligence (HAI), 「Artificial Intelligence Index Report 2025」, Stanford University, 2025, p.93.

[그림 3] 이후 직접 제작한 모델 실행 결과 시각화 자료. 별도 출처 표기 생략.