인공지능으로 암호화폐 미래 가격 예측해보기 (完)

4. 모델 결과 평가

인공지능으로 암호화폐 미래 가격 예측해보기

앞선 인공지능으로 암호화폐 미래 가격 예측해보기 3편에서 보았듯 파이썬 프로그래밍에서 제공되는 기능을 이용한다면 누구나 쉽게 머신러닝 기반의 인공지능을 구현해낼 수 있습니다. 하지만 데이터 분석가, 데이터 과학자 등의 사람들에게는 단순히 인공지능을 실제로 구현해내는 것보다 훨씬 중요한 업무가 있습니다. 바로 생성한 인공지능이 실제 어느 정도의 성능을 보이고 있는지 그 모델의 결과를 평가하는 것입니다. 만약 모델의 결과를 평가해 그 성능이 우수하다고 판단되면 해당 모델을 바로 사용할 수 있을 것이며 그렇지 않다면 다시 학습 과정을 거쳐야 할 것입니다.

이를 위해 인공지능 전문가들은 늘 빅데이터 중 검증용 데이터 셋을 따로 남겨두며 이는 우리의 예제 속에서도 진행을 한 내용 중 하나입니다. 우리는 지난번 XGboost라는 모델과 LGBM이라는 두 가지 인공지능 모델을 생성했습니다. 인공지능으로 암호화폐 미래 가격 예측해보기 3편에서는 단순히 모델의 학습만 진행했으며 그 학습이 얼마나 잘 진행되었는지는 따로 체크를 하지 않았습니다. 이제 인공지능 모델에게 따로 떼어둔 검증용 데이터 셋을 건네주어 새롭게 예측을 실행하도록 해보고 그 결과가 어느 정도인지를 판단하는 과정을 거쳐야 합니다.

먼저, XGBoost 모델을 사용한 인공지능의 검증용 데이터 셋에 대한 모델 성능 지표는 아래와 같습니다. 이 결과를 잘 이해하기 위해서는 우선 mean_absolute_error라는 지표에 대한 이해가 선행되어야 합니다. 해당 지표는 MAE라는 약어로 불리며 오차의 절대적인 평균값 정도로 해석해볼 수 있습니다. 우리가 예측한 암호화폐 5일 뒤 가격의 변화율이 실제 가격 변화율과 어느 정도의 차이를 보이는지를 지표화 했다는 의미를 담고 있습니다. 만약 MAE가 1로 나온다면 평균적으로 변화율에 1 정도의 예측 오차가 있음을 의미합니다.

다시 한번 말하지만 본 예제에서는 5일 뒤 특정 암호화폐 가격의 변화율을 예측 대상으로 삼았습니다. 만약 101이라는 수치가 도출된다면 5일 뒤 해당 암호화폐는 1% 가격 상승을 보인다는 의미를 지닙니다. 그리고 실제 XGBoost 모델의 MAE 성능을 살펴보면 약 9.4를 기록하고 있습니다. 이를 해석해보면 XGBoost를 활용한 인공지능 모델이 예측한 5일 뒤 암호화폐 가격의 변화율은 약 9.4만큼의 오차를 기록할 것임을 의미합니다. 즉, XGBoost 인공지능 모델이 만약 5% 상승이라는 변화를 예측했다면 실제로는 -4.6% ~ 14.4% 사이의 변화가 있을 확률이 높다는 것을 뜻합니다.

다만 MAE 하나만으로 인공지능의 성능을 평가한다면, 데이터 및 인공지능에 전문적인 지식을 가지고 있는 사람들은 직관적으로 그 성능을 체감할 수 있지만 그렇지 않은 사람들에게는 이 수치가 어느 정도인지 감이 안 올 수 있습니다. 보통의 경우 인공지능 성능의 체감을 위해서는 인공지능이 예측한 값과 실제 값을 나란히 두고 비교해보는 것이 가장 효과가 좋습니다. 이를 고려해, 인공지능이 가장 정확하게 예측한 사례와 가장 부정확하게 예측한 사례를 각 10개씩 가져오면 다음과 같은 결과를 확인할 수 있습니다.

확인 결과, XGBoost는 5일 뒤 암호화폐 가격의 변화율을 잘 맞출 때에는 0.004% 차이로 변화율을 예측해낼 만큼 매우 높은 정확도를 보여주고 있지만 107% 이상 차이가 날 정도로 예측을 잘 못하는 경우도 동시에 발생하고 있습니다. 그리고 인공지능 모델을 평가할 때 가장 중요한 점 하나는 모델이 어떤 데이터에 적용되든 고른 성능을 보여주는 것이 좋다는 점입니다. 이를 고려한다면, 그 성능에 대한 편차가 크다는 점에서 XGBoost 모델은 마냥 긍정적으로 바라보기엔 한계가 뚜렷한 것을 알 수 있습니다.

같은 원리로, LGBM의 모델 성능 역시 평가하는 것이 가능합니다. 본 예제에서는 XGBoost와 LGBM이라는 두 가지의 인공지능 모델을 사용하였지만 실제 인공지능 전문가들은 인공지능 모델을 구축할 시 훨씬 많은 모델을 생성해보고 그 모델 간의 성능을 비교합니다. 앞서 살펴본 MAE 지표를 통해서 우리는 간단하게 XGBoost와 LGBM 모델 중 어느 모델이 더욱 정확한 예측을 진행하고 있는지 알 수 있습니다.

확인 결과 LGBM의 MAE는 약 8.9로 XGBoost보다 미세하게 더 좋은 성능을 기록하고 있음을 알 수 있습니다. 비록 다른 인공지능 전문가들처럼 매우 다양한 모델을 생성하고 비교를 해보진 못했지만 우리는 2개의 인공지능 모델을 비교하여 LGBM이라는 인공지능이 더욱 우수한 성능을 보이고 있음을 확인했습니다. 이제는 LGBM을 우리의 최종 모델로 선정하여 미래 시점의 데이터에 예측을 진행하는 일만 남았습니다. 아무리 성능 좋은 인공지능을 만든다고 할지라도 실제 미래 시점의 데이터에 예측을 진행하지 않는다면 그 활용도가 전무하다고 봐도 무방합니다.

실제 미래 시점에 대한 예측 역시 사전에 생성해 둔 데이터를 활용하여 간단하게 진행할 수 있습니다. 그리고 그 실제 결과를 살펴보면 아래와 같은 결과를 볼 수 있습니다. 만약 암호화폐의 미래 가격을 예측하는 이유를 묻는다면 당연히 가장 상승할 것 같은 암호화폐에 투자를 하고 반대의 암호화폐라면 투자를 진행하지 않기 위해서입니다. 이를 위해서는 가격의 변화율을 기준으로 가장 많은 상승이 기대되는 암호화폐와 가장 많은 하락이 기대되는 암호화폐를 직접적으로 확인할 수 있어야 합니다.

실제 확인 결과 STPT라는 암호화폐가 인공지능이 예측한 2022년 7월 6일 기준, 5일 뒤 가장 높게 상승할 것으로 예측되는 암호화폐의 주인공입니다. STPT는 7월 6일에 대비하여 7월 11일 약 9%의 가격 상승이 있을 것으로 예측되었습니다. 반대로 가장 하락할 것으로 예측되는 암호화폐는 AVAX입니다. 같은 기간인 7월 6일 대비 7월 11일 약 12%의 가격 하락이 있을 것으로 예측되고 있습니다. 이렇듯 인공지능을 통해 구체적인 기대 가격 변화율을 알 수 있다면, 실제 투자를 할 때 많은 도움이 될 수 있음을 충분히 짐작 가능합니다.

마지막으로, 인공지능의 예측 결과의 해석 단계가 남았습니다. 데이터를 구성하고 인공지능에게 학습을 시키고 실제 예측까지 진행을 했는데, 과연 인공지능은 무엇을 근거로 이러한 예측을 진행했나에 대한 힌트를 찾아볼 수 있는 영역입니다. 흔히 이 과정에서는 변수 중요도 (Feature Importance)라는 개념을 많이 사용합니다. 변수 중요도는 인공지능 모델이 어떤 데이터(변수)를 이용해 예측의 근거로 삼았는지 그 정도를 지표화 한 내용입니다. 확인 결과 우리의 인공지능 모델은 value, value_2 등 그날의 총 거래액과 2일 전의 총 거래액 등 거래액을 가격 변화율을 예측하는데 가장 큰 근거로 삼고 있었습니다.

이제 인공지능을 통한 암호화폐 가격 예측의 모든 과정이 다 끝났습니다. 이제 우리가 할 일은 이 인공지능 모델을 믿고 실제로 투자를 진행할 지 아니면 보완이 더 필요할지 판단을 하는것 뿐입니다. 이 것에 대한 판단은 지극히 주관적인 의견이 첨가될 수 밖에 없습니다. 최종적으로 우리는 인공지능으로 암호화폐 미래 가격 예측해보기 예제를 통해 실제 인공지능 전문가들이 어떤 과정을 거쳐 인공지능 모델을 꾸리는지 살펴보았습니다. 우리는 예제를 통해 데이터 수집부터 데이터 전처리, 변수 생성, 인공지능 모델 생성, 결과 평가라는 일련의 프로세스를 모두 경험해 보았습니다.

예제를 살펴보면 알 수 있듯이 간단하다면 간단하게 인공지능 생성을 위해 모든 프로세스를 구현하는 것이 가능합니다. 다만 본 예제에서는 모든 프로세스를 간추려 진행하였고 실제 데이터 과학자나 인공지능 전문가들은 각 단계에서 훨씬 복잡한 의사결정과 실험을 거쳐 인공지능을 생성해내곤 합니다. 이번 인공지능으로 암호화폐 미래 가격 예측해보기 시리즈를 통해 암호화폐의 미래 가격 예측이라는 흥미로운 주제로 인공지능에 대한 이해도와 친숙도를 높이는 경험이 되었기를 바랍니다.

본 예제의 인공지능 모델은 암호화폐 가격을 부정확하게 예측하고 있어 실제 투자에 사용하기엔 큰 무리가 있습니다.

본 예제의 예측 결과 및 성능은 코드를 돌리는 날짜에 따라 다소 차이가 발생할 수 있습니다.