신용평가모형의 개발 및 운영 절차

설계 → 개발 → 검증 → 운영 및 모니터링

신용평가모형 설계

신용평가모형의 개발 및 운영 절차는 대체로 설계, 개발, 검증, 운영 및 모니터링의 4단계로 구성됩니다.

먼저 설계 단계에서는 모형 개발에 쓰일 데이터를 확인하여 요건 정의와 개발 대상 데이터셋 선정 등의 작업을 하게 됩니다. 

모형에 활용할 수 있는 데이터 항목들을 식별하고 금융소비자에 대한 차별적 요소(예: 성별, 연령, 인종 등)나 규제로 인해 사용 금지된 항목이 포함되어 있는지를 체크하는 과정을 진행합니다.

이때, 데이터 항목의 다양성이나 데이터 출처의 신뢰성 등도 함께 확인하게 되며, 데이터의 정합성과 무결성 체크를 위해 기초통계량을 통한 누락(결측), 중복, 이상치 등을 살펴보는 과정도 진행하게 됩니다. 또한 이 과정을 거치면서 준비된 데이터를 모형 개발에 활용하기 위한 데이터 전처리 작업도 이루어집니다.

정제된 데이터가 확보되면, 신용평가모형의 목표 변수라 할 수 있는 '불량'의 요건을 정의하게 되며, 일반적으로는 3개월 이상 연체된 경우를 '불량', 즉 '채무불이행'으로 정의합니다. 다만 준비된 데이터셋의 속성이나 모형 개발 목적에 따라 '불량'을 다르게 정의하는 경우도 있습니다.

한편, 모집단 데이터셋은 평가 대상의 특성을 고르게 반영하면서 왜곡 없이 평가할 수 있도록 구성해야 하는데, 개인 신용평가모형을 예로 들면, 신용평가의 대상이 되는 우리나라 전 국민을 모집단으로 볼 수 있습니다. 다만, 이때 금융거래 활동이 거의 없다고 보이는 미성년자와 고령자는 모집단에서 제외됩니다.

모집단 데이터셋 구성이 완료되면, 모형 개발을 위해 필요한 개발 대상 데이터셋을 선정해야 합니다. 데이터 개수가 충분히 많은 경우, 해당 모집단 데이터셋을 랜덤 샘플링하여 개발 대상 데이터셋을 구성하게 되며, 이 데이터셋이 모집단을 대표할 수 있는지에 대해 검증하는 작업을 거치게 됩니다.

개발 대상 데이터의 개수가 개발하기에 충분히 마련되었는지, 모집단 데이터셋에 계절성이 존재하는지, 개발 대상 데이터셋의 우량과 불량의 구성비, 불량률 등이 모집단 데이터셋과 유사한지 등을 검증합니다.

이후 모형 구분(Segmentation) 작업을 추가로 진행하기도 하는데, 평가 대상이 1~2가지의 리스크 특성으로 확연하게 구분되는 경우에는 개발 대상 데이터셋을 이 특성별로 구분하여 각각의 모형을 별도 개발하게 됩니다.

개인 신용평가모형은 '연체 이력이 있는 그룹'과 '그렇지 않은 정상 그룹'으로 구분하여 모형을 개발하는 경우가 일반적이며, 모형 개발 시 구분된 모형별로 필요한 데이터 항목 리스트를 별도로 구성하기도 합니다.

신용평가모형 개발

설계가 완료된 이후에는 본격적인 모형 개발 단계에 들어갑니다. 먼저 모형 개발 방법론을 정한 후, 방법론에 따라 반영될 후보 변수를 선정하며, 이 중 최종 변수를 결정하는 과정이 진행됩니다. 최종 변수 선정이 완료되면, 모형의 결괏값으로 평점표를 만들고 점수 변환 절차를 거치게 됩니다.

모형 개발 방법론은 로지스틱 회귀 모형이나 AI 방법론 등 개발 목적에 적합한 방법론을 선택하게 되며, 후보 변수 선정 시에는 기초통계량을 다시 한번 체크하여 결측 및 이상치 처리 등을 확인하게 됩니다. 특히 AI 방법론을 적용하기 위해서는 변수의 스케일링 작업 등이 사전에 진행돼야 하므로 이를 점검해야 합니다.

스케일링(Scaling)은 서로 다른 수치형 변수의 데이터 범위를 동일한 범위로 조정하여 모형의 예측력을 향상시키는 기법으로, 주로 활용되는 스케일링 기법은 해당 변수의 평균을 0, 표준편차를 1로 맞추는 표준화(Standardization)와 변수의 최솟값을 0으로 최댓값을 1로 조정하여 데이터의 범위를 축소하는 정규화(Normalization) 등이 있습니다.

선택된 모형 개발 방법론에 따라 만들어진 모형에 후보 변수를 넣고 돌리면, 후보 변수들 중 통계적 유의성을 확보한 일부 변수들(최종 변수)이 선택되는데 이 과정에서 모형의 변별력과 안정성 등을 고려하여 최적의 모형을 결정하게 됩니다.

모형의 결괏값은 채무불이행 가능성, 즉 확률 형태로 산출되기 때문에 이를 다시 점수로 변환하는 과정이 필요한데, 전통적인 로지스틱 회귀 모형의 경우에는 모형의 결괏값이 평점표(Scorecard) 형태로 표현된 후 이 평점표에 기반하여 점수 변환이 이루어집니다.

점수 변환은 채무불이행 가능성(확률)을 1,000점 만점의 점수로 바꾸는 방식을 기본으로 하며, 모형 개발목적에 따라 기본 점수를 설정하고, 모형 구분이나 점수 구간에 따른 배점을 정성적으로 고려하여 점수 변환이 이루어지게 됩니다. 또한 점수 구간별 불량률의 역전은 없는지도 함께 점검할 필요가 있습니다.

AI 방법론을 적용하는 경우에는 '모형 해석' 부분을 추가로 개발해야 합니다. AI 방법론 기반 모형의 경우, 평가에 활용된 항목과 각 항목별 중요도를 모형 상에서는 확인하기 어려운 경우가 많기 때문에 금융소비자를 위해 평가 결과의 설명가능성을 확보할 수 있는 방안이 마련될 필요가 있습니다.

설명가능한 인공지능 기법은 크게 전역 설명 방식(global)과 국소 설명 방식(local)으로 나뉘며, SHAP(SHapley Additive exPlanations), LIME(Local Interpretable Model-Agnostic Explanations)등의 기법이 주로 활용되고 있으나, 아직 표준화된 기법이 존재하지 않으므로 개별 상황에 맞게 적용해야 할 것으로 보입니다.

신용평가모형 검증

설계와 개발이 끝나면, 개발된 모형을 검증하는 단계가 진행되며, 모형 검증은 모형 설계 시 마련해 놓은 개발 대상 데이터와 검증 데이터를 가지고 이루어집니다.

개발 대상 데이터와 비교할 검증 데이터에는 Hold-out sample 데이터 형태와 Out-of-time sample 데이터 형태가 있습니다. 애초에 개발 대상 데이터를 선정할 때, 개발 대상 데이터 중 일부는 개발용으로 일부는 검증용으로 별도로 떼어 놓게 되는 경우가 있는데, 이 데이터를 Hold-out sample 데이터라고 부릅니다.

개발용 데이터를  'Training dataset', 검증용 데이터를 'Validation dataset'으로 부르기도 하며, 데이터 개수가 충분히 많은 경우에는 'Test datset'까지 추가로 떼어 모형을 검증하기도 합니다.

한편, 신용평가모형과 같이 시계열 데이터에 민감한 모형의 경우, 시간 흐름에 따라 데이터를 구분하기도 하는데, 개발 대상 데이터를 과거 이력 데이터로 본다면, Out-of-time sample 데이터는 개발 대상 데이터와 성능예측 기간이 겹치지 않으면서 성능 측정이 가능한 데이터를 의미합니다.

이러한 검증 데이터를 활용하여, 기존에 개발에 사용된 데이터로 산출한 모형의 성능 지표와 검증 데이터로 확인한 수치를 비교하고 모형의 변별력과 안정성이 유지되는지를 확인합니다.

또한 등급 또는 평점 구간별 데이터의 개수, 구성비, 불량률, 상위 누적 불량률 등도 함께 확인하여 성능 유지, 과적합, 편향 여부 등을 체크하게 됩니다. (※ 다음 편에서 성능 지표에 대한 내용을 설명드리겠습니다.)

만약, 기존 모형이 있는 상태에서, 성능의 개선이나 평가 항목의 추가 반영을 위해 새롭게 모형을 개발한 경우에는 기존 모형 대비 변화된 부분을 확인하고, 변별력이나 안정성 등의 측면에서 성능 향상 효과가 있는지를 확인해 볼 필요성이 있습니다.

한편 좀 더 세부적인 검증을 위해서는 평가 대상 전체와 정보보유 특성별, 모형 구분별, 금융업권별로 데이터를 쪼개어 각각의 특성에 따른 모형 성능을 확인하기도 하며, 동일 평가 대상이 기존 모형 대비 큰 폭의 등급 하락 또는 평점 하락이 이루어지는 등 특정 이슈 발생에 따라 추가적인 검증이 진행되기도 합니다.

신용평가모형 운영 및 모니터링

검증까지 완료된 모형은 실제 업무에 적용되어 운영이 이루어집니다. 실제 운영이 이루어지면, 일반적으로는 1년에 1번 정도, 혹은 매달, 분기별로 모니터링을 진행하여 모형이 잘 작동하는지 확인하게 됩니다. 이때에도 평가 대상 전체, 정보보유 특성별, 모형 구분별, 금융업권별 등으로 구분하여 성능 지표를 점검하게 됩니다.

AI 방법론 기반의 모형은 기존 모형 개발 시에 학습된 데이터에 추가로 재학습 절차가 진행될 수 있는데, 이때 재학습 주기와 기준, 데이터 최신성 반영 현황 등을 점검하여 기존 대비 모형의 안정성이 제대로 유지될 수 있는지 확인하고 등급이나 평점 구간별 변동 수준 등을 확인해야 합니다.

만약 모니터링 결과, 모형의 변별력이나 안정성 등 성능이 급격하게 저하되는 현상이 확인되거나, 특정 차주 그룹에서 등급 또는 평점이 과도하게 변동되는 상황이 발생하는 경우에는 모형의 재개발을 검토하게 됩니다.

다음 편에서는 신용평가모형의 성능 확인 방법에 대해 말씀드리겠습니다.