시스템 트레이딩과 알고리즘 매매에 대한 이해가 수익률을 결정한다.
지난 금요일 밤 미국 주식시장, 특히 나스닥 지수가 급락을 하였다. 2025년 스타 주식 중 하나인 브로드컴(AVGO)은 무려 11% 이상 급락하였다. 브로드컴의 시가총액은 1조 7000억 달러로 한화로 무려 2500조 원이 넘는다. 한국 주식 중 시가총액 1위인 삼성전자가 640조 원이 조금 넘는 수준이니 브로드컴의 시가총액은 삼성전자의 4배에 달한다고 할 수 있다. 이렇게 시가총액이 어마어마하게 큰 주식의 주가가 어떻게 하루 만에 11% 이상 급락할 수가 있다는 말인가? 금융위기와 같은 패닉장도 아니었고, 심지어 전날 장 마감 후 우수한 실적을 발표했는데도 말이다.
물론 최근 미국 주식시장은 AI버블론에 시달리고 있기에 시장이 명확한 호재가 아닌 뉴스의 경우 아주 쉽게 악재나 리스크로 인지하고 시장의 변동성이 커지는 모습을 보이고 있다. 2025년 3월 관세충격으로 급락한 후 8개월을 쉬지 않고 상승해 왔고, 그 중심에는 AI섹터의 주식들이 있기에 이와 같은 변동성은 너무나 당연한 것이다. 이러한 변동성은 강세장 중에도 여러 번 등장하는 모습이므로 우리는 이러한 변동성에 익숙해질 필요가 있다.
그렇다 하더라도 11% 이상 급락이 말이 되는가? 만약 미국 주식시장이 과거와 같은 인간의 심리와 매매에 의해 가격이 결정이 되는 시장이라면 이러한 급락은 말이 되지 않는 것이다. 그러나 지금의 미국 주식시장의 거래 메커니즘, 즉 시스템 트레이딩과 알고리즘 매매가 지배한 미국 주식시장의 현실을 직시한다면 이러한 급락은 너무나 당연한 것이 된다. 이제 미국에서는 일상이 되어버린 초대형주의 급등과 급락에 따라 스스로의 포트폴리오를 지켜내고 수익을 올리기 위해서는 시스템 트레이딩과 알고리즘이 지배하고 있는 미국 증시의 현실을 이해해야 한다. 그래서, 오늘은 미국 주식시장에서 시스템 트레이딩과 알고리즘 매매가 어떻게 시장을 지배하고 있는지를 정리해보고자 한다.
미국 주식시장에서 시스템 트레이딩(System Trading)과 알고리즘 매매(Algorithmic Trading)는 이미 시장 거래의 대다수를 차지하고 있다. 이는 전 세계 금융시장의 가장 큰 특징 중 하나로 자리 잡았으며, 특히 미국 시장에서 그 비중이 압도적이다. 다음은 미국 주식시장의 시스템 트레이딩 및 알고리즘 매매 현황에 대한 대략적인 특징이다.
압도적인 비중: 현재 미국 주식시장 전체 거래량의 약 60~80%가 알고리즘 매매를 통해 이루어지는 것으로 추산된다. 일부 자료에 따르면 이 수치가 90%에 달한다는 분석도 존재한다.
고빈도 매매(HFT)의 핵심 역할: 시스템 트레이딩의 하위 개념인 고빈도 매매(High-Frequency Trading, HFT)는 초고속 통신망과 알고리즘을 활용하여 나노초(10억 분의 1초) 단위로 거래를 실행한다.
기술 발전의 가속화: 인공지능(AI), 머신러닝, 빅데이터 분석 기술이 알고리즘 트레이딩 전략에 접목되면서 더욱 정교하고 예측 가능한 모델로 발전하고 있다.
주요 참여자: 개인 투자자 중심의 한국 시장과 달리, 미국 시장에서는 대형 기관 투자자, 헤지펀드, 전문 HFT 회사들이 알고리즘 매매를 주도한다.
- 대형 기관투자자:
1) 블랙록 (BlackRock): 세계 최대의 자산운용사로, 시스템 트레이딩 및 퀀트 부문에서 거대한 자산을 운용.
2) 골드만삭스 (Goldman Sachs): 퀀트 전략 그룹(Quantitative Strategies Group)을 운영하며, 시장 조성(market-making), 리스크 분석 등에 퀀트 모델을 적극 활용.
3) JP모건 (J.P. Morgan): 퀀트 리서치 및 트레이딩 부서를 통해 AI와 대안 데이터를 활용한 시스템 트레이딩 전략을 구사.
- 헤지펀드 및 전문 HFT 회사:
1) 르네상스 테크놀로지스 (Renaissance Technologies): Jim Simons가 설립한 이 회사는 세계에서 가장 성공적인 퀀트 헤지펀드 중 하나임. 특히 전설적인 '메달리온 펀드(Medallion Fund)'는 철저하게 수학적, 통계적 분석에 기반한 시스템 트레이딩 전략으로 유명함.
2) 브리지워터 어소시에이츠 (Bridgewater Associates): 레이 달리오(Ray Dalio)가 설립한 세계 최대 규모의 헤지펀드. 'Pure Alpha'와 같은 주요 펀드 전략은 알고리즘에 의해 운용되며, 경제 사이클과 다양한 시장 데이터를 활용하는 글로벌 매크로 전략을 사용.
3) D.E. 쇼 & 코 (D.E. Shaw & Co.): 고급 AI 및 계산 금융(computational finance)을 결합한 연구 중심의 투자 회사로 알려져 있음. 정교한 수학적 모델과 컴퓨터 프로그램을 사용하여 시장의 비효율성을 포착.
4) 시타델 (Citadel): 주식, 채권, 원자재 등 다양한 자산군에 걸쳐 퀀트 전략을 포함한 여러 투자 전략을 운용하는 대형 멀티 스트래티지 헤지펀드. 2022년 미국 헤지펀드들 중 최고 수익을 올림.
이름만 들어도 압도되는 대형 기관투자자들과 헤지펀드들이 미국 주식시장에서 시스템 트레이딩과 알고리즘 매매를 주도하고 있고, 지배하고 있는 것이다. 그들이 운용하는 자산은 그야말로 어마어마하기에 그들이 크게 사고팔게 되면 브로드컴과 같은 초대형주의 10% 이상 급등과 급락이 일상이 될 수 있다. 문제는 그 크게 사고파는 기준이 제대로 된 분석에 기반하는 것이 아니라 시장이 주는 매매신호, 즉 시스템이 인지하는 기술적 요인들에 의해 결정된다는 것이다.
막대한 자금을 운용하는 기관이 기술적 신호에 의해 잦은 매매를 하게 되면 시장은 오직 기술적 요인에 의하여 가격이 결정되고 그 결정된 가격이 또 다른 가격대를 형성하고 그 가격대가 만들어내는 기술적 신호가 급등과 급락을 강화시키는 현상이 발생하게 된다. 그런데 그 알고리즘이 인지하는 기술적 신호라는 것이 단지 차트에 기반한 것이 아니라는 것이다. 알고리즘은 특정 경제 지표 발표, 뉴스 기사, 혹은 사전에 설정된 기술적 지표 변화에 즉각적으로 반응한다. 대형 퀀트 펀드나 헤지펀드가 운용하는 막대한 자금이 알고리즘에 의해 동시에 특정 종목(예: AI 관련 대형 기술주)으로 유입되거나 유출되면, 이는 주가에 큰 영향을 미치게 되는 것이다.
여기서 중요한 것은 "즉각적으로" 반응한다는 것이다. 나노초는 10억 분의 1초에 해당하는, 인간으로서는 감지가 불가능한 시간의 영역이다. 그런데 시스템 트레이딩은 모든 거래를 그 나노초의 영역에서 실행한다. 즉, 어떤 경제지표나 뉴스가 진짜인지 가짜인지, 아니면 더 깊은 분석이 필요한지와는 무관하게 오직 그러한 요인으로 인해서 시장에서 일어나는 첫 반응 또는 그 정교하게 짜인 시스템과 알고리즘이 예상하는 시장의 반응에 의해 엄청난 속도와 거래량으로 거래를 일으키는 것이다. 그런데 일반적인 개인투자자들은 시가총액이 큰 금액의 주가 움직임은 뭔가 자신이 모르는 이유가 있기 때문에 발생하는 주가 변동이며 그 주가의 급등락도 다 이유가 있으니 형성된 믿을 만한(?) 가격이라 여기고, 그렇게 형성된 가격의 급등과 급락을 보면서 추매와 투매를 반복하다가 결국은 큰 손실을 보게 되는 경우가 많다. 그러나 시가총액이 크다고 해서 항상 변동성이 적은 것은 아니며, 오히려 유동성이 풍부하기 때문에 시스템 트레이딩과 알고리즘이 대량 주문을 빠르게 실행하고 청산할 수 있고, 이 과정에서 순간적인 수급 불균형을 초래하여 단기적인 급등락을 만들 수 있다. 엄청난 거래량은 결국에는 가장 효율적인 가격대를 형성하게 되겠지만 그 효율적인 가격을 형성해 가는 과정에서 수급이 꼬이면서 왜곡된 가격이 형성될 수 있고 개인투자자들은 그 왜곡된 가격에 매매를 하게 되어 결국은 손실을 보게 되는 것이다.
2020년대 들어와 미국 주식시장에 투자하는 한국의 개인투자자들이 매년 크게 늘어나고 있다. 그런데 그 개인투자자들의 매수 상위권 주식을 보자면 대부분이 개별주식이고, 2배, 3배 레버리지 상품도 큰 비중을 차지하고 있다. 물론 한국의 개인투자자들의 자가학습능력이 뛰어나고 투자경험이 풍부하므로 미국 주식투자를 통해 우수한 투자수익을 거두는 투자자들도 많다는 것을 잘 알고 있다. 그러나 그러한 우수한 투자자들도 항상 지수가 올라가는 장세에 적응이 되어 있고 변동성이 큰 시장에서 대응하는 경험이 부족할 수 있으며, 특히 대형주가 급등락을 반복하는 시장에서는 쉽게 패닉에 빠질 수 있다. 특히 스스로 급락의 이유가 무엇인지를 도저히 알 수가 없는 경우에는 극도의 공포에 빠져 투매를 해버릴 수도 있을 것이다. 또는 시장에서(더 정확히 말하자면 알고리즘 세계에서) 이미 소외되어 거의 움직임이 포착되지 않는 주식들을 저평가 주식투자 또는 가치투자라는 전략으로 무작정 장기보유함에 따라 시장 트렌드에서 멀어져 마땅히 얻어내야 할 수익을 올리지 못하는 역주행 투자를 하게 될 수도 있다.
미국 주식시장에 투자를 하기 위해서는 현재 이 시점에서 시스템 트레이딩과 알고리즘이 주로 매매하는 섹터가 무엇 인지를 파악하고 있어야 하며, 오랜 투자 경험을 바탕으로 특정 거시경제 환경과 기업 관련 뉴스, 금융기관 주요 데이터 변화 등에 따라 지수와 개별주식의 주가가 움직이는 패턴을 보면서 시장에 대응할 수 있는 능력을 키울 필요가 있다. 그러나 그 대응이라는 것이 "매매"를 의미하는 것은 아니다. 더 정확히 표현하면 "중장기 포트폴리오 구축"과 "명확한 전략의 수립"을 기반으로 예상치 못한 시장변화가 발생했을 때 "전략을 수정 및 보완"하는 것을 의미한다. 개인투자자가 이러한 대응이 가능한 이유는 개인투자자는 시스템 트레이딩과 알고리즘은 가지지 못한 소중한 자산인 "시간"이라는 자산을 보유하고 있기 때문이다. 즉, 개인투자자는 매수와 매도, 이 모든 매매를 함에 있어서 "기다릴 수 있는 시간"을 보유하고 있는 것이다.
위대한 트레이더들은 주식투자라는 전쟁터에서 승리하기 위해서는 주식을 잘 고르는 능력만큼 "손절매"를 잘하는 능력이 중요하다고 강조한다. 만약 어떤 개인투자자가 스스로를 "트레이더"라고 정의한다면 "손절매"를 얼마나 잘하느냐는 "생명줄"과 같은 역할을 하는 것이 맞다. 그러나 과연 얼마나 많은 개인투자자들이 장기적으로 계속 수익을 쌓아갈 수 있는 "트레이더"가 될 수 있을까? 많지 않을 것이다. 제로섬 게임인 주식시장에서 개인투자자들 중에서 성공한 트레이더들이 많다는 것은 거의 불가능에 가깝다.
따라서, 개인투자자라면 일단 지금이 주식을 사도 되는 시기인지에 대한 감각과 지식을 키우고, 주식을 사도 되는 시기라면 좋은 기업의 주식을 적게는 2~3개, 많게는 10개 이상을 골라낸 후 분할 매수를 하고, 급등이 오면 분할 매도, 급락이 오면 추가로 매수하는 형식으로 매매가 중심이 아니라 포트폴리오를 장기적으로 관리하는 것에 중심을 두는 것이 맞는 방법일 것이다. 만약 개별주식을 골라내는 것에 어려움이 있다면 지수 ETF(예: 나스닥 ETF)와 섹터 ETF(예: 반도체 ETF)를 적절한 비중으로 나누어 투자하는 것도 좋다. 지수 ETF와 섹터 ETF에 나누어 투자하게 된다면 시스템 트레이딩과 알고리즘 매매에 의해 개별주식이 직격탄을 맞는 경우에도 그 영향을 최소화할 수 있을 것이다.
미국은 중산층의 은퇴자금의 대부분이 기관투자자(연기금)들을 통하여 증시에 투자되는 구조를 갖고 있다. 따라서, 일단 미국 주식시장은 장기적으로 반드시 우상향해야 한다는 국가적 책무가 존재한다. 그리고 기관투자자(연기금)들은 그 국가적 책무를 수행하기 위해서 반드시 일정 수준 이상의 수익률을 실현해내야 한다. 기관투자자(연기금)들은 그들의 자금을 직접 운용하기도 하지만, 그들보다 더 전문적으로 자산을 운용할 수 있는 대형&상업적 기관투자자나 헤지펀드에게 그들의 자금을 맡기게 된다. 그리고 그 대형 기관투자자들과 헤지펀드들은 시스템 트레이딩과 알고리즘 매매로 시장을 주도하며 목표로 한 수익을 창출한다. 따라서, 개인투자자들이 직접 미국 주식시장에 뛰어들어 대형 기관투자자들과 싸울 경우 그 싸움에 임하는 전략이 대형 기관투자자들과 같은 "매매로 승부를 보는 전략"으로 임한다면 백전백패(잘하면 백전 구십구패) 일 것이다. 위에서 보았듯이 미국 증시 거래량의 80%를 차지하는 것이 그들의 시스템 트레이딩과 알고리즘 매매이다. 만약 우리가 시스템 트레이딩과 알고리즘 매매를 우리의 수익률을 높이기 위해 이용해야 한다면, 시스템 트레이딩과 알고리즘 매매의 시장 상황별 움직임과 패턴에 대한 이해도를 높이고 변동성 장세의 급등락으로 인해 발생하는 가격대가 자신의 포트폴리오 조정 및 보완(분할 매도시점인지 분할 매수시점인지)을 위한 가격대인지를 판단하는 능력을 키우는 것이 답이다. 그렇게 할 수 있다면 매수 후 움직이지 않는 buy and holding(Long only) 전략에 비해서 더 높은 수익률을 올릴 수 있게 될 것이다.