감정 상태에 따라 뇌의 반응이 달라진다?
감정 감지를 위한 뇌엽과 특징 기법 비교 분석
뇌파를 다룬 신경언어학 연구들을 보면서 문득 뇌 반응에 관심이 생겼다. 그러다가 뇌 반응을 통한 리더십 연구를 확인했고, 왠지 내가 흥미를 가지고 있는 감정 또한 뇌 반응의 결과일테니 뇌를 보면 감정 상태를 알 수 있지 않을까 하는 생각이 들었다. 최근 들어 열심히 활동하고 있는 뇌과학자들이 말하길 사랑을 비롯한 인간의 모든 활동이 그래봐야 결국은 뇌 반응에 놀아나는 것이라는 말을 하니까...
그래서 관련 연구가 없나 찾던 중 인간의 감정에 따라 뇌의 어떤 부분이 어떻게 반응하는지에 대한 연구를 찾게 되었다. 사실 오픈액세스 저널이나 프런티어 같은 쪽에서는 더 쉽게 관련 연구를 찾아볼 수 있었지만 나일론이긴 하지만 그래도 반의 반쯤은 연구자 모드로 찾은 거니까 SCI급 등재지 중에서도 Q1 이상은 되는 저널에 등재된 아티클을 찾았다. 그래서 또 정리해 본다.
A Comparative Analysis of the Brain Lobes and Feature Techniques in the Detection of Emotion
(https://ieeexplore.ieee.org/document/10205783)
1. 서론 (Introduction)
본 연구는 감정 인식에서 뇌파(EEG) 신호의 활용에 중점을 둡니다. 감정은 사람의 일상생활에서 중요한 역할을 하며, 의사소통, 기억, 창의성, 학습, 의사결정 등에 영향을 미칩니다. 하지만 기존 방법들은 얼굴 표정이나 외부 행동에 기반한 감정 인식은 신뢰도가 낮으며, 특히 사용자가 감정을 숨기거나 표현하기 어려운 경우(예: 신체적 장애가 있는 경우) 문제가 발생합니다. 반면 뇌파(EEG) 신호는 감정 상태를 분석하는 데 유리하며, 신경계의 전기적 활동 변화를 실시간으로 비침습적으로 측정할 수 있습니다. EEG 신호는 5가지 주파수 대역(알파, 베타, 델타, 세타, 감마)으로 나뉘며, 각각의 대역은 뇌의 특정 활동과 연결됩니다. 예를 들어, 알파파는 안정과 졸음과 관련되고, 베타파는 집중력과 경계 상태를 반영합니다.
인간-컴퓨터 상호작용(HCI)에서 감정 인식을 더욱 정확하게 수행할 필요성이 증가하고 있습니다. 이를 위해 신뢰할 수 있는 뇌-컴퓨터 인터페이스(BCI) 기반 시스템 개발이 요구됩니다. EEG 신호 분석을 통해 감정을 보다 정밀하게 예측하고자 하며, 이를 통해 심리학, 신경과학 등 다양한 분야에서의 활용 가능성을 탐구합니다.
연구 목표와 주요 내용:
다중 클래스 분류: SEED-IV 데이터셋을 사용해 행복, 슬픔, 중립, 두려움의 네 가지 감정을 인식합니다.
특징 추출 방법 비교: 파워 스펙트럼 밀도(PSD)와 미분 엔트로피(DE) 기법을 적용해 성능을 비교합니다.
뇌의 네 가지 엽 비교: 전두엽, 측두엽, 두정엽, 후두엽의 신호를 분석해 감정 예측에서 가장 중요한 역할을 하는 엽을 찾습니다.
머신러닝 알고리즘 적용: SVM, KNN, 앙상블 모델 등을 통해 감정 인식의 정확도를 평가합니다.
이 연구는 EEG 신호와 머신러닝을 활용해 보다 정밀한 감정 인식 시스템을 제안하고, 이를 통해 인간-컴퓨터 상호작용의 발전 가능성을 제시합니다.
2. 문헌 리뷰 (Literature Review)
이 연구의 문헌 리뷰는 감정 인식을 위한 EEG 신호 분석과 머신러닝 알고리즘의 활용에 대한 다양한 연구를 다루고 있습니다. 몇 가지 주요 연구와 그 기여를 아래와 같이 정리했습니다.
1) EmotionMeter 프레임워크 (Wei-Long Zheng 등):
EEG 신호와 눈 움직임을 결합한 멀티모달 감정 인식 시스템을 제안했습니다.
6개의 전극을 귀 주위에 배치해 신호를 수집하며, 평균 85.11%의 정확도를 달성했습니다.
이 프레임워크는 세션 간 일관성과 EEG와 외부 행동의 상호 보완성을 강조했습니다.
2) EEG 기반 다중 모달 감정 인식 (Asghar 등):
2D 스펙트로그램을 활용해 EEG 신호의 스펙트럼과 시간 정보를 유지하는 방법을 사용했습니다.
사전 훈련된 AlexNet 모델을 사용해 특징을 추출하고, 깊은 특징(Bag of Deep Features, BoDF) 기반 접근 방식을 제안했습니다.
SJTU SEED 데이터셋에서는 93.8%, DEAP 데이터셋에서는 77.4%의 정확도를 달성했습니다.
3) EEG 감정 인식을 위한 모델 평가 (Mohit Kumar 등):
SEED와 DEAP 데이터셋을 사용해 다층 퍼셉트론(MLP)과 컨볼루션 신경망(CNN)을 통한 감정 인식 성능을 평가했습니다.
감정은 밸런스(valence)와 각성(arousal) 기준으로 분류되었으며, CNN 모델은 SEED 데이터셋에서 93.7%의 F1-score를 달성했습니다.
4) BiLSTM을 활용한 감정 분류 (Yang 등):
양방향 LSTM(BiLSTM) 네트워크를 사용해 감정을 분류한 연구에서 84.21%의 정확도를 기록했습니다.
본 연구는 기존 연구의 한계를 개선하기 위해 EEG 신호에 대해 뇌의 각 엽별 성능을 비교해 감정 인식에 가장 적합한 영역을 찾아냅니다. PSD와 DE 특징 추출 기법을 비교하고, 두 기법을 조합한 결과도 분석합니다. 마지막으로 기존 연구에 비해 높은 정확도(98.4%)를 달성한 머신러닝 모델(Cubic SVM)을 제시합니다. 이와 같은 문헌 리뷰를 통해, 본 연구는 EEG 신호와 다양한 분류기 및 특징 추출 기법을 감정 인식에 효과적으로 활용할 수 있는 가능성을 제시합니다.
3. 데이터셋 (Dataset)
본 연구에서는 SEED-IV 데이터셋을 사용하여 감정 인식을 수행했습니다. SEED-IV는 SJTU(상하이 자오퉁 대학교)에서 개발한 EEG 기반 감정 인식 데이터셋으로, 여러 세션에서 다양한 감정을 유발하는 시청각 자극을 사용해 수집되었습니다.
1) 데이터 수집 과정
실험 설계:
총 15명의 참가자가 실험에 참여했으며, 각 참가자는 3일에 걸쳐 3개의 세션에 참여했습니다.
세션마다 24개의 시청각 자극(영화 클립)을 사용해 행복, 슬픔, 두려움, 중립의 4가지 감정을 유발했습니다.
각 영화 클립은 2분 동안 재생되었으며, 참가자들의 EEG 신호는 실시간으로 기록되었습니다.
EEG 데이터 수집:
62개의 전극을 사용하여 뇌파를 기록했으며, 사용된 장비는 ESI Neuroscan 시스템입니다.
EEG 신호는 1,000 Hz의 샘플링 속도로 수집되었으며, 1~75 Hz 대역의 밴드패스 필터를 적용해 노이즈와 아티팩트를 제거했습니다.
수집된 신호는 200 Hz로 다운샘플링되었습니다.
데이터 분할:
수집된 EEG 데이터는 4초 단위의 비중첩(non-overlapping) 세그먼트로 분할되었습니다.
각 세그먼트는 하나의 데이터 샘플로 간주되며, 학습 및 테스트에 사용됩니다.
2) 레이블링 및 감정 분류
네 가지 감정은 다음과 같이 레이블링 되었습니다 (0: 중립 (Neutral / 1: 슬픔 (Sad) / 2: 두려움 (Fear) / 3: 행복 (Happy)). 각 참가자의 세션별로 총 24번의 시청각 자극을 수행하며, 연구에서는 세션 1의 데이터를 주로 사용해 감정 분류 모델을 개발했습니다.
이와 같이 SEED-IV 데이터셋은 다양한 감정 상태를 유발하는 영화 클립을 통해 신뢰도 높은 EEG 데이터를 수집하고, 여러 세션에 걸쳐 일관된 감정 인식 성능을 평가하는 데 활용되었습니다.
4. 연구 방법론 (Methodology)
본 연구의 방법론은 EEG 신호의 분석과 감정 분류를 위해 전처리, 특징 추출, 분류기 선택, 성능 평가 단계로 구성됩니다.
A. 전처리 (Pre-processing)
EEG 신호는 노이즈와 아티팩트 제거를 위해 이동 평균 필터(Moving Average Filter)와 선형 동적 시스템(Linear Dynamic System)을 사용했습니다.
각 신호 데이터는 MAT 파일 형식으로 저장되며, 3차원 행렬로 구성됩니다.
3D 행렬 구조: 62xWx5 (62개 전극 × 신호 길이(W) × 5개 주파수 대역)
실험에 사용된 영화 클립의 길이가 다양하므로, 4초 단위로 분할된 데이터 세그먼트를 사용해 동일한 길이로 맞췄습니다.
B. 특징 추출 (Feature Extraction)
EEG 신호에서 두 가지 주요 특징 추출 기법을 사용했습니다:
- 미분 엔트로피(Differential Entropy, DE):
EEG 신호의 고주파 및 저주파 에너지 수준을 구분하는 데 효과적입니다.
주어진 시간 창에서 로그 파워 스펙트럼 밀도를 사용해 계산됩니다.
- 파워 스펙트럼 밀도(Power Spectral Density, PSD):
EEG 신호의 주파수 도메인에서 신호의 전력 분포를 분석합니다.
EEG 데이터의 각 주파수 대역(알파, 베타, 델타, 세타, 감마)에서 PSD를 계산해 특징 벡터를 생성했습니다.
PSD와 DE를 개별적으로 그리고 조합하여 분류에 사용했습니다.
C. 분류기 (Classifier)
연구에서는 여러 머신러닝 알고리즘을 사용해 감정 인식을 수행했습니다.
1. SVM (Support Vector Machine):
EEG 데이터의 감정을 예측하기 위해 최적의 초평면(hyperplane)을 찾는 알고리즘입니다.
Cubic SVM은 DE 특징에서 최고 성능을 보이며, 98.4% 정확도를 달성했습니다.
2. KNN (k-Nearest Neighbour):
테스트 샘플과 가장 가까운 K개의 학습 샘플을 기반으로 분류합니다.
Fine KNN은 두정엽 데이터를 기반으로 96.9%의 높은 정확도를 보였습니다.
3. 앙상블 분류기 (Ensemble Classifier):
여러 분류기의 출력을 결합해 예측 정확도와 모델의 안정성을 높입니다.
주로 Bagging과 Boosting 기법을 사용했으며, Bagged Trees 모델도 높은 성능을 기록했습니다.
D. 성능 평가 방법 (Performance Measurement)
모델의 성능을 평가하기 위해 5-폴드와 10-폴드 교차 검증을 수행했습니다.
- 교차 검증(Cross-Validation)
데이터셋을 학습 세트와 테스트 세트로 나누어 반복적으로 검증합니다.
10-폴드 교차 검증이 5-폴드보다 일관되게 높은 정확도를 보였습니다.
- 평가 지표
정확도(Accuracy): 전체 예측 중 정확하게 분류된 비율
정밀도(Precision): 양성으로 예측한 샘플 중 실제 양성 비율
재현율(Recall): 실제 양성 샘플 중 정확히 예측한 비율
F1-점수(F1-Score): 정밀도와 재현율의 조화 평균
이와 같은 방법론을 통해 EEG 신호에서 감정을 효과적으로 예측할 수 있는 최적의 분류 모델과 특징 추출 기법을 도출했습니다.
5. 연구 결과 (Results)
본 연구는 다양한 뇌 엽과 머신러닝 알고리즘의 성능을 비교하고, PSD와 DE 특징 추출 기법의 조합이 감정 인식 정확도에 미치는 영향을 분석했습니다.
A. 뇌 엽별 성능 분석
1) 두정엽(Parietal Lobe):
Fine KNN 알고리즘이 두정엽 데이터를 기반으로 가장 높은 정확도(96.9%)를 기록했습니다.
10-폴드 교차 검증에서 더욱 높은 정확도(96.6%)를 보였습니다.
2) 후두엽(Occipital Lobe):
후두엽에서는 Fine KNN과 Bagged Trees 앙상블 모델이 최고 성능을 보였습니다.
5-폴드 교차 검증에서는 89.9%, 10-폴드 검증에서는 91.1%의 정확도를 달성했습니다.
3) 전두엽(Frontal Lobe):
Cubic SVM과 Fine Gaussian SVM이 우수한 성능을 보였으며, 5-폴드와 10-폴드 검증 모두에서 일관된 성능을 확인했습니다.
4) 측두엽(Temporal Lobe):
Fine KNN과 Weighted KNN이 사용되었으며, 다른 엽에 비해 정확도가 낮았고, 가장 낮은 정확도는 89.8%였습니다.
B. 특징 추출 기법 비교 (DE vs. PSD)
1) 미분 엔트로피(DE):
DE 특징은 가장 높은 성능을 보였으며, Cubic SVM에서 98.4%의 정확도를 달성했습니다.
2) PSD 특징:
PSD 단독 사용 시 성능이 저조했으며, 최고 정확도는 83.5%에 그쳤습니다(앙상블 Bagged Trees 사용 시).
3) DE + PSD 조합:
두 특징의 조합은 Fine KNN을 사용한 10-폴드 교차 검증에서 98.0% 정확도를 기록했습니다.
그러나 DE 단독 사용과 비교했을 때 정확도의 차이는 0.2%로 미미했습니다.
C. 감정별 예측 성능
중립(Neutral): 가장 쉽게 예측되며 높은 정밀도와 재현율을 보임.
슬픔(Sad)과 행복(Happy): 높은 F1-점수를 달성하여 일관된 예측 성능을 보임.
두려움(Fear): 예측이 가장 어려웠으며, 다른 감정에 비해 낮은 성능을 보였습니다.
D. 교차 검증 성능 비교
10-폴드 교차 검증이 5-폴드 교차 검증보다 일관되게 더 높은 성능을 보였습니다.
이는 데이터의 더 나은 일반화와 과적합 방지를 가능하게 했습니다.
이 연구는 DE 특징을 사용한 Cubic SVM 모델이 가장 우수한 성능을 보였으며, 두정엽이 감정 인식에 가장 중요한 역할을 한다는 결론을 제시합니다.
어쩌다 보니 스스로 흥미를 느껴 뇌에 대한 연구까지 찾아보고 있다... 근데 이 연구를 보면서 한 가지 추가적인 궁금증이 생겼다. 뇌파를 통해 감정을 파악(측정)할 수 있는 거라고 생각했는데 왜 머신러닝의 개념이 등장하고, 예측이 필요한 거지? 그래서 조금 더 찾아봤다.
우선, 감정은 뇌의 특정 활동이 활성화될 때 발생하는 것은 맞다. 예를 들어, 행복을 느낄 때는 전두엽에서 베타파가 활발해지고, 두려움은 아미그달라(편도체)와 관련된 뇌파로 반영된다. 다만 뇌파(EEG 신호)는 뇌의 전기적 활동을 측정하지만, 특정 감정을 일으키는 모든 뇌 활동이 EEG 신호에 명확하게 나타나지는 않는다. 즉, 뇌파는 여러 정신 상태(감정, 주의력, 졸음 등)의 결과가 혼재된 신호이다.
따라서 하나의 감정 상태가 여러 뇌파 패턴과 겹쳐서 나타날 수 있기 때문에 뇌파에서 특정 감정이 발생했는지 여부를 직접적으로 읽는 것은 쉬운 일이 아니다. 예를 들어, 행복과 흥분 모두 베타파의 활동 증가와 관련되지만, 똑같은 패턴이라도 둘은 서로 다른 감정이다. 이처럼 복잡한 패턴 속에서 특정 감정과 상관된 미묘한 신호를 구분하기 위해 머신러닝 모델이 활용된다. 즉, 뇌파 데이터를 보고 "이 패턴이 슬픔과 관련된 신호다"라는 것을 예측하는 과정이 필요한 것이다.
요약하자면 감정은 뇌의 활동 결과로 나타나고, EEG는 이러한 뇌 활동을 측정하는 도구인 것은 맞지만 뇌 활동은 매우 복잡하게 일어나고, 감정뿐만 아니라 집중, 피로, 스트레스 등도 동시에 영향을 미친다. 따라서 EEG 신호에 나타나는 여러 신호의 조합이 특정 감정과 연관되지만, 그 패턴이 항상 뚜렷하거나 일관되지는 않다. 감정의 표현은 개인마다 다르고, 같은 감정도 사람마다 다른 뇌파 패턴으로 나타날 수 있다. 이런 이유로 직접 측정 대신 예측과 분류가 필요하다고 한다.
그럼 그렇지... 내가 모르는 분야에 대한 관심과 문돌이의 과학에 대한 막연한 동경으로 인간을 너무 쉽게 생각했었나 보다.
