Multimodal:Intensity Matching

2025.09.20

by 야옹이버스

Sep 21. 2025

인간에게 있는 능력 중 흥미로운 것 중에 하나는, 세기(강도)의 짝짓기를 할 수 있다는 것이다.

예를 들면 범죄를 색깔로 표현한다면, 살인은 절도보다 훨씬 어두운 빨강일 것이고,

음악으로 표현한다면, 주차위반은 피아니시모, 살인은 포르티시모로 표현할 것이다.

사람들은 이 Intensity를 대략 공유한다.

"엄마 100만큼 좋아" 때부터 가지고 있는 능력, Intensity Matching이다.

그런데, 이건 Multimodal model 이 추구하는 그 개념과도 연결됨.

생각에 관한 생각 - 대니얼 카너먼 > Chapter 8. How Judgments Happen > Matching Intensity

이 개념은 생각에 관한 생각에서 처음 접했는데,

심리물리학(psychophysics), 심리측정(psychometrics) 히스토리를 찾아 올라가 보니,

그 시작은, 1728년!

Cramer (1728) - 제곱근 함수

효용과 돈의 관계를 최초로 수학적으로 다룸

체감 효용 : 효용이 두 배 되려면 돈이 네 배 필요

인간의 주관적 가치와 객관적 금액이 선형이 아니란 것을 수학적으로 제시

Bernoulli (1738) – 로그 함수

산페테르부르크 역설을 해결하기 위해 제안. 기댓값 계산만으로는 설명이 안 되던 도박 문제 해설 가능

체감 효용을 더 강하게 반영 : 큰 금액에서는 효용 변화를 못 느낌, 위험 회피 설명가능

기대 효용 이론 시초. 현대 경제학-금융의 위험 회피 모델 출발점

Fechner (1860) – 심리물리학 법칙

인간의 감각(sensation)과 물리적 자극(stimulus intensity)의 관계를 설명

Weber의 법칙을 수학적으로 일반화

감각은 물리적 자극의 로그 함수로 증가 : 자극이 기하급수적으로 증가 시, 감각은 등차 증가

경제학의 효용 함수를 지각 연구로 가져옴

Stevens 의 Psychophysics 책의 Figure 1,2,3

그리고, 그 뒤를 Stevens 이 이었다.

Stevens (1975) - Power low

Fechner의 보편적 로그 법칙(점선) 대비,

감각 종류별로 지수 차이를 두는 방식으로 확장

a=0.5 : 체감 효과 강한 경우(밝기, 소리크기)

a=1 : 선형적인 경우(길이 판단)

a=1.5 : 과장된, 자극 증가가 큰 경우(통증, 전기자극)

1986년도 출판본 표지 (1975년 초기 책을 찾아 헤매다 실패)

Stevens 은, 감각과 자극 사이의 양적 관계를 정립하기 위해 실험적 방법으로 'general psychophysical laws'를 찾고자 했다.

그 집대성이 Psychophysics: Introduction to Its Perceptual, Neural, and Social Prospects (1975).

결국 그의 연구는 지각(perception) 및 감각(sensation) 연구부터, HCI, 음향, 시각, 청각 등 다양한 분야에 영향을 끼쳤다.

현대 뇌과학의 뉴런 반응의 비선형성, AI의 activation function(ReLU, sigmoid, power-law scaling)과도 깊은 관련이 있고,

Stevens의 cross-modality matching 은 텍스트-이미지-소리 간의 embedding space에서의 multi-modal 연구와 이어진다.

관련해서, 며칠 전 본 논문 잠깐 언급.

https://arxiv.org/abs/2509.06952

On the Same Wavelength? Evaluating Pragmatic Reasoning in Language Models across Broad Concepts

Language use is shaped by pragmatics -- i.e., reasoning about communicative goals and norms in context. As language models (LMs) are increasingly used as conversational agents, it becomes ever more important to understand their pragmatic reasoning abilitie

https://arxiv.org/abs/2509.06952v1