AI 앙상블 모델 기반 한국 상장 ETF

자동매매 시스템 설계 및 평가_편집부원 강재현

인공지능이라는 투자의 새로운 바람

금융시장은 이제 인간의 직관과 경험만으로는 설명하기 어려운 속도로 진화하고 있다. 필요한 데이터의 양이 폭발적으로 증가하고 투자 판단이 점점 알고리즘화 되더니 이제는 인공지능이라는 새로운 바람이 금융시장에 불고 있다. 세계 주요 자산운용사들은 이미 인공지능을 활용한 투자전략을 운용하고 있으며 개인 투자자들 또한 손쉽게 머신러닝 기반의 퀀트 전략을 구현할 수 있는 시대에 접어들었다 봐도 과언이 아니다.

이러한 인공지능 투자의 등장은 자본시장에 새로운 질문을 던진다. “과연 인간은 인공지능보다 더 나은 판단을 내릴 수 있을까?”라는 의문이다. 주식시장의 비합리성과 인간의 감정 편향을 지적했던 대니얼 카너먼(Daniel Kahneman) 이후, 투자의 효율성은 더 이상 ‘정보의 양’이 아니라 의사결정 구조의 합리성으로 평가되고 있다. 인공지능은 바로 그 구조의 효율성을 높여주는 가장 편리한 도구라고 할 수 있다.

이번 글은 이러한 맥락에서 인공지능을 활용한 국내 주식시장 자동매매 시스템을 직접 설계하고 그 성과를 실험적으로 분석하였다. 머신러닝 기반의 투자 알고리즘이 실제 시장 데이터를 어떻게 학습하고 전통적 Buy & Hold 전략 대비 어떤 차별적 성과를 보이는지를 검증하는 것이 목적이다. 이를 바탕으로 인공지능이 투자 결정을 보조하는 단계를 넘어서서 스스로 투자의 문을 여는 주체로 기능할 수 있는지 탐구해 보고자 한다.

인공지능이 시장을 학습하는 방법

인공지능 투자 모델을 설계한다는 것은 단순히 기계가 알아서 매수, 매도 신호를 내리게 한다는 의미가 아니다. 오히려 이는 인공지능 모델이 시장 데이터를 바탕으로 시장을 해석할 수 있는 기준을 만들어주는 일을 의미한다. 인공지능 모델은 데이터 안에서 패턴을 찾아내는 법을 배운다. 가령 주가가 꾸준히 상승하기 전에 거래량이 먼저 늘어나는 경우, 이는 시장 참여자들이 서서히 매수세를 키우고 있다는 신호로 주가가 상승하는 패턴, 반대로 짧은 기간 동안 주가가 급등했는데 거래량은 오히려 줄어드는 경우에는 과열 구간으로 진입했다고 해석할 수 있으며, 조정 가능성이 커지는 주가 하락의 패턴과 같은 경우들을 학습한다.

인공지능 모델은 이러한 수천 가지의 경우를 단순히 외우는 것이 아니라 각 상황이 이후 어떤 결과로 이어졌는지를 반복적으로 관찰하며 확률적 경향을 학습하게 된다. 따라서 특정 지표가 비슷한 패턴으로 나타나게 되면 ‘이 시점에서는 해당 주식의 상승 확률이 60% 이상이다’와 같은 판단을 스스로 내릴 수 있는 것이다.

실제 구축한 인공지능 모델의 학습 구조

이번 탐구에서는 이러한 기본적 원리를 이용하여 인공지능을 활용한 자동매매 모델을 직접 설계하고 운용해 보았다. 모델은 2015년부터 2025년 투자 당시 그 시점 까지의 국내 상장지수펀드(ETF) 15종 데이터를 바탕으로 학습되었으며 매일의 가격, 거래량, 변동성, 이동평균선, 상대강도지수(RSI), 스토캐스틱, 볼린저밴드 등 41개의 기술적 지표를 분석 대상으로 삼았다.

해당 데이터들을 바탕으로 모델을 설계할 때 가장 중요하게 고려한 점은 시장 데이터의 복잡성과 불안정성이었다. 금융시장은 단일한 규칙으로 설명되지 않으며 예측 불가능한 변수에 의해 자주 영향받기 때문이다. 따라서 이번 탐구에서는 이러한 시장의 특성을 최대한 반영하기 위해 랜덤포레스트(Random Forest)모델과 XGBoost 모델을 결합한 앙상블(ensemble) 구조를 채택하였다.

인공지능 모델의 학습 결과

학습이 완료된 인공지능 모델은 총 약 4만여 개의 데이터 샘플을 기반으로 검증되었다. 모델은 테스트 구간에서 평균 예측 정확도는 약 82%, ROC-AUC는 0.87, 브라이어 점수(Brier Score)는 0.147로 나타났다. 이는 곧 모델이 학습 데이터에만 치우쳐서 과거 패턴을 단순히 암기해버린 것이 아니라 검증 데이터에서도 일관된 예측력을 유지하며 새로운 시장 환경에도 대응할 수 있는 일반화된 구조를 학습했음을 보여준다.

그렇다면, 모델이 상승과 하락을 예측함에 있어서 중요하게 사용한 변수는 무엇이였을까? 모델은 언급했던 것 처럼 41개의 변수를 학습에 사용하였는데, 이 가운데 피처 중요도 상위 5개 변수는 단기 및 중기 수익률, 단기 이동평균 대비 현재가 비율, 거래량 변화율, 단기 변동성으로 나타났다. 이 지표들은 모두 시장의 추세(모멘텀)와 위험(리스크)을 함께 반영하는 요소들로, 결국 인공지능은 상승 추세가 이어질 가능성이 높은 구간에서만 위험을 감수한다는 판단 구조를 스스로 형성했음을 알 수 있다.

특히 단기 수익률이 양(+)으로 유지되고 거래량이 증가하는 구간에서는 다음날 수익률이 높게 예측되는 경향이 강했고 반대로 변동성이 급격하게 커지거나 단기 이동평균선이 꺾이는 시점에서는 예측된 수익률이 0 이하로 떨어지며 보수적 포지션을 취하는 성향을 보였다.

인공지능 모델 모의투자 성과 분석

설계된 인공지능 앙상블 모델의 실제 성과를 검증해보기 위해 먼저 한국투자증권의 모의투자를 활용하여 2025년 10월 1일부터 10월 27일까지 실시간 모의투자 환경에서 자동매매를 수행하여 단기 성과와 시장 대응력을 검증하였다.

매일 장 시작 전, 모델이 예측한 기대 수익률과 상승 확률을 기준으로 상위 5개 종목을 선정하였으며, Kelly-light 방식을 활용하여 인공지능이 직접 투자 비중을 조절하게 하였다. 또한 시장 변동성에 대응하기 위해 거시변수를 활용하여 인공지능이 스스로 현금 비중을 조정하게 하였다.

그 결과 모의투자 기간 동안 모델은 초기자본 1억에 대해서 전체적으로 약35%, 그러니까 약3,500만원에 해당하는 금액을 현금으로 유지하는 보수적인 포지션을 채택했으며, 모델은 해당 기간동안 +5,215,353원의 총손익을 기록하여 +5.21%의 누적 수익률을 달성했다.

그러나 해당 기간은 코스피 지수가 +12.8% 급등한 이례적인 강세장이었음을 고려해야 한다.

[그림1] 모델과 코스피 누적 성장률 그래프 (1억 원 기준)

[그림1]의 누적 성장률 그래프에서 확인할 수 있듯이, AI 모델은 코스피 지수 대비 언더퍼폼 한 것을 알 수 있다.

[그림2] 일별 수익률 비교 그래프 (1억 원 기준)

이는 전략적 한계라기보다는 35%의 현금 버퍼를 유지하고 시장의 과열 신호를 보수적으로 해석한 모델의 특이성이 반영된 결과라고 볼 수 있다. 실제 [그림2]의 일별 수익률 비교 차트를 보면, 모델의 일별 변동폭은 -0.7%에서 1.5% 수준임을 알 수 있으며, 이는 코스피 대비 낮은 수치였다는 것을 확인할 수 있다. 시장의 변동성이 커진 10월 중순에도 안정적인 수익률을 유지하며 꾸준한 상승 패턴을 유지했다. 이는 모델이 단기 시장 급등을 추종하기보다 해당 기간에 현금 확보와 안정적인 투자를 바탕으로 한 리스크 관리를 수행했다고 해석할 수 있다.

해당 모델의 실제 운용 성과가 당시 어땠는지, 그리고 현금 보유 비중의 적절성에 대해서 알아보기 위해서 초기 자본 (1억 원)이 아닌 35%의 현금 보유 비중을 제외한 실제 운용 자금 (6,500만 원)을 기준으로 환산하여 다시 계산해 보았다.

[그림3] 모델과 코스피 누적 성장률 그래프 (6,500만 원 기준)

실제 운용 자금을 기준으로 일일 실현 손익을 다시 계산할 경우 모델의 누적 수익률은 +8.27%로 재집계된다. 이는 [그림3]에서 확인할 수 있듯이, 1억 원을 기준(전체 자산)으로 계산했을 때의 수익률 보다는 높지만 여전히 해당 기간 코스피 지수의 상승률에는 미치지 못했음을 알 수 있다.

그러나 더욱 주목할 점은 변동성의 변화이다. 아래 [그림4]는 실제 운용 자금을 기준으로 조정한 모델의 일별 수익률을 코스피와 비교한 그래프이다.

[그림4] 일별 수익률 비교 그래프 (6,500만원 기준)

[그림2]에서 1억원 전체를 기준으로 했을 때 모델의 일별 변동폭이 -0.7%에서 1.5% 수준으로 코스피 대비 현저히 낮았던 것과 달리 [그림4]에서는 모델의 일별 수익률 변동폭이 코스피 지수와 거의 유사한 수준으로 확대된 것을 확인할 수 있었다.

이는 모델이 실제 투입한 6,500만 원은 시장 추세를 적극적으로 추종하며 수익을 추구하며, 동시에 인공지능이 스스로 판단한 거시 변수에 따라 확보한 3,500만 원의 현금이 전체 계좌의 안정성을 높이는 리스크 관리 기능을 효과적으로 수행한 것으로 해석할 수 있다. 즉, 이는 인공지능이 판단한 35%의 현금 비중 전략이 이 포트폴리오 전체의 위험을 낮추는 안전 버퍼 역할을 했음을 명확히 보여준다.

다만, 약 한 달간의 성과만으로는 전략의 통계적 유의성을 판단하기에 한계가 분명하다.

인공지능 모델의 장기 백테스트 결과

그러한 한계를 극복하고 인공지능 모델의 매수, 매도 전략의 평가, 그리고 전략의 장기 일관성을 검증하기 위해 동일한 모델 구조로 2022년 1월 1일부터 2025년 10월 27일까지의 장기 백테스트를 추가 수행하였다. 모델 학습에 사용한 데이터는 2012년 1월 1일 부터 2021년 12월 31일까지의 데이터이며, 테스트 기간에 테스트를 수행 할 때에는 데이터를 테스트 일자 기준 10년 전 데이터를 활용하였다.

본 백테스트의 핵심은 AI 전략의 실질적인 타이밍 효과를 검증하는데 있다. 이를 위해서 단순 코스피 지수가 아닌 AI 모델이 접근 가능한 동일한 ETF 포트폴리오를 동일 비중으로 단순 보유(Buy&Hold)하는 전략을 비교 기준으로 설정하였다. AI 전략은 현금 비중을 2%로 최소화하여 모델의 매매 판단 능력 자체를 평가하고자 했다.

1억 원의 초기 자본으로 시뮬레이션을 수행한 결과 주요 성과는 다음과 같다.

[도표1] 백테스트 수행 결과

AI 앙상블 전략의 연환산 수익률은 8.98%로 동일한 포트폴리오를 단순 보유(Buy&Hold)한 전략의 5.03% 대비 우수한 성과를 기록했음을 알 수 있다.

하지만 이러한 수익률 우위는 일정 기간에 국한된 결과일 가능성도 존재한다.

[그림5] 누적 자산곡선 비교

[그림5]를 통해 설명하자면, AI 모델은 하락장(2022년 초 - 2023년 초)에서는 빠르게 손실을 회복했으나 횡보장(2024년 중반)에서는 단기 조정 국면마다 포지션을 줄이며 상승폭을 제한하거나 단기 상승 및 횡보 구간에서는 변동성을 높여 이득과 손실 비율 모두 변동성이 심화된 것을 확인할 수 있다. 특히 2023년 중반 이후 시장이 급등하는 구간에서는 모델의 변동성이 오히려 커지면서 자산곡선이 잦은 출렁임을 보였고 일부 시점에서는 단기적인 과매수 신호에 민감하게 반응하여 조기 매도를 반복한 것도 확인할 수 있었다.

이에 대해 좀 더 자세히 알아보기 위해 낙폭 비교 그래프를 활용했다.

[그림6] 낙폭 비교 그래프

[그림6]의 낙폭 비교 그래프를 보면 AI 모델은 Buy & Hold 대비 전반적으로 하락폭이 낮았으나, 2024년 초반 이후 특정 구간에서는 오히려 더 깊은 손실을 기록하기도 했음을 확인할 수 있다. [도표1]에서 확인할 수 있듯이, AI 전략의 최대 낙폭은 -28.8%, Buy&Hold는 -25.7%로 단순 비교 시 AI 모델의 하방 방어력이 절대적인 우위에 있다라고 보기는 어렵다.

즉, AI 모델은 확실한 하락장에서는 손실을 줄였으나, 비정상적 급등 또는 급락 구간에서는 오히려 더 큰 변동성을 노출했다고 해석할 수 있다. 이는 모델이 높은 수익률을 추구하는 과정에서 포지션 전환 빈도를 늘려 일시적으로 시장 반전에 취약해졌기 때문으로 추정된다.

따라서 AI 모델은 단기적 타이밍 효율성은 확보했으나, 구조적으로 고빈도 매매에 따른 변동성 증폭이 존재한다는 점에서 해결해야할 부분이 존재했다.

인공지능 모델에 대한 종합적 결론

백테스트 결과를 통해서 알 수 있듯이, AI 모델은 Buy&Hold 대비 수익률 측면에서는 우위, 안정성 측면에서는 혼재된 성과를 보였다. 장기적으로는 더 높은 수익률을 달성했지만, 그 과정에서 단기 변동성은 오히려 커지는 양상이 나타났다. 이는 인공지능이 시장의 하락 신호에는 빠르게 반응하지만, 상승 국면에서는 보수적으로 대응하는 비대칭적 구조를 가지고 있기 때문이다.

이러한 투자 전략과 더불어 모델의 현금 보유 비중 결정 논리를 고려해 보면 해당 모델은 리스크 회피를 위한 현금 보유 비중 결정 논리가 크게 작용하여 자산 전체의 리스크를 완화하는, 말하자면 수익 극대화 전략보다는 리스크 완화형 투자 구조에 가까운 형태로 해석할 수 있다.

다만, 24년 이후의 상승 전환기에서 신호의 과도한 민감성이 오히려 기회비용으로 작용했다. 이는 AI 모델이 구조적 시장 변화에 대한 적응력이 제한적이었음을 시사한다. 즉, 과거 학습된 확률적 경향이 새로운 시장 국면을 맞아 변화한다면 모델의 의사결정이 오히려 수익률 저하로 이어질 가능성이 존재한다는 것이다.

결과적으로 현재 해당 인공지능 모델은 단기적 리스크 관리에는 강점을 보였으나 장기적 추세 전환을 반영하는 능력은 아직 제한적이라는 점에서 보조적 투자 판단 시스템으로서의 의미가 더 크다고 할 수 있다.

한계와 개선 방향

이번 탐구에서 구축한 인공지능 모델은 일정 수준의 예측력과 리스크 관리 능력을 보였으나 동시에 몇 가지 구조적 한계가 존재했다.

첫 째, 질적 요인의 부재이다. 본 모델은 가격, 거래량, 변동성, 거시경제 변수와 같은 수량적 데이터를 중심으로 설계되었다. 이러한 구조는 통계적 일관성과 재현성을 확보하는 것에는 유리하나, 정책 변화, 산업별 호재 및 악재, 주요 기업 뉴스 등 시장 심리에 직접적인 영향을 주는 비정형 정보를 제대로 반영하지 못했다. 가령, 반도체나 인공지능 관련 섹터의 급등, 급락은 통계적 지표만으로는 설명되지 않는 경우가 많으며, 모델은 이러한 섹터별 테마 변화에 충분히 대응하지 못하는 모습을 보였다.

둘 째, 섹터간 상호연관성의 미세 조정 부족이다. AI 모델은 ETF 단위로 학습하였기에 산업별 순환이나 정책 수혜 섹터의 변화를 세밀하게 반영하지 못했다. 결국 특정 산업군이 시장을 주도하는 시기에는 모델이 상대적으로 덜 민감하게 반응하거나 반대로 회피적 포지션을 취하는 경향이 나타났다.

이러한 한계를 보완하기 위해서는 다음과 같은 개선이 필요하다. 우선 뉴스, 공시, 정책 발표 데이터를 모델 입력 변수로 통합하고 섹터간 상호작용을 반영할 수 있는 산업 네트워크 기반 피처 설계를 도입하여 이를 반영할 수 있게 하고 테마 변동성과 시장 심리 지표를 결합한 이벤트 보조 모듈을 구축하는 것이 필요하다.

시사점

이번 탐구는 인공지능이 단순히 인간의 판단을 보조하는 수준을 넘어서서 시장 데이터를 기반으로 스스로 투자 의사결정을 내릴 수 있는 가능성을 실험적으로 검증했다는 점에서 의미가 있다. 이는 인공지능이 감정적 판단이나 편향에서 벗어나, 데이터에 기반한 합리적 투자 결정을 수행할 수 있음을 보여준다.

물론 앞서 '한계와 개선 방향'에서 논의했듯이, 본 연구의 모델은 질적 요인과 시장의 구조적 변화 대응에 명확한 한계를 보였다. 하지만 이러한 한계는 모델 구조의 한정된 설계에서 기인한 기술적 문제이며, 데이터 확장과 학습 체계 고도화를 통해 충분히 개선 가능한 영역이다.

향후 뉴스, 공시, 산업 네트워크 데이터 등 비정형 정보를 포함하고 시장 참여자의 심리 변화까지 포착할 수 있는 구조로 발전한다면, 인공지능은 단순히 투자 판단을 보조하는 수준을 넘어, 시장 환경을 해석하고 대응 전략을 스스로 설계할 수 있는 자율적 투자 주체로 진화할 것이다. 즉, 인간의 직관이 아닌 데이터 기반의 학습을 통해 스스로 판단하고 행동하는 인공지능 투자가 현실화되는 것이다.

[부록]

포트폴리오

TIGER 200TR, KODEX 반도체, TIGER 200IT증권상장지수투자신탁, TIGER 2차전지테마, TIGER TOP10, KODEX 은행, KODEX 철강, TIGER 화장품, KODEX 건설, KODEX 삼성그룹, TIGER 글로벌자율주행&전기차SOLACTIVE, TIGER 글로벌리튬&2차전지SOLACTIVE, KODEX 혁신기술테마액티브, TIGER 리츠부동산인프라, TIGER 조선TOP10

[도표2] 피처 중요도 상위 5개 변수

참고문헌

문헌

김동영,「퀀트 모델링 A to Z (5) 포트폴리오 밸류에이션 지표 계산법 (가중 조화평균)」, 삼성증권 리서치센터, 2022. 5. 17.

김동영,「AI와 퀀트 투자」, 삼성증권 리서치센터, 2024. 11. 7.

박선종,「알고리즘 매매 및 DMA (Direct Market Access) 연구」, 한국증권법학회 정기세미나, 2008. 3, pp.3-25.

박주영, 「인공지능(AI) 기반 자산운용의 확산과 시사점」, 우리금융경영연구소, 2024, pp.1-18.

양현성 외, 「Bi-LSTM과 강화학습을 이용한 고가 예측 기반의 자동 주식 매매 모델 설계 및 구현」, 멀티미디어학회논문지, 제25권 제12호, 한국멀티미디어학회, 2022. 12, pp.1814–1825.

이주용, 「차익거래 자동매매 시스템 개발 및 퀀트 전략 연구 - 주식과 선물 Basis의 퀀트 분석을 중심으로」, 국민대학교 비즈니스IT전문대학원, 2021. 12. 10.

최원곤, 「더 슬기로운 성장주 투자전략」, BNK투자증권 리서치센터, 2025. 9. 9.

Coqueret, G., André, E., 「Factor Investing with Reinforcement Learning」, SSRN Working Paper, May 2022.

Kahneman, D., 「Thinking, Fast and Slow」, Farrar, Straus and Giroux, 2011.

Liu, X.‑Y. et al., “Practical Deep Reinforcement Learning Approach for Stock Trading,” arXiv preprint, Nov 2018.

Yang, H. et al., “Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy,” SSRN Working Paper, Sep 2020.

Zou, J. et al., “A Novel Deep Reinforcement Learning Based Automated Stock Trading System Using Cascaded LSTM Networks,” arXiv preprint, Dec 2022.

웹페이지

BlackRock, “Aladdin® Technology – Speak the Language of Portfolios,” BlackRock Official Site, 2025.

그림 및 도표

[그림1] 모델과 코스피 누적 성장률 그래프 (1억 원 기준) (필자 작성)

[그림2] 일별 수익률 비교 그래프 (1억 원 기준) (필자 작성)

[그림3] 모델과 코스피 누적 성장률 그래프 (1억 원 기준) (필자 작성)

[그림4] 일별 수익률 비교 그래프 (6,500만 원 기준) (필자 작성)

[그림5] 누적 자산곡선 비교 (필자 작성)

[그림6] 낙폭 비교 그래프 (필자 작성)

[도표1] 백테스트 수행 결과 (필자 작성)

[도표2] 피처 중요도 상위 5개 변수 (필자 작성)