귀납과 연역의 차이가 있는가
20240804
1.
'귀납과 연역의 차이가 있는가'라는 질문은,
LLM 이 '확률적 사고가 아닌 논리적 사고를 할 수 있는가'라는 질문과 닿아있다.
논리적 사고가 되는 순간이 next stage 로 넘어가는 시점이라고 생각하는 사람들이 있고,
OpenAI 도, AI 능력의 5단계를 정의하고 그들의 기술이 곧 2단계(Reasoners)로 들어설 것이라고 했다.
2.
그러다보니 예전에 읽은 책이 떠올라 다시 훑어보았다.
호프스태터와 상데의 '사고의 본질 - 유추, 지성의 연료와 불길'
https://brunch.co.kr/@greenful/106
이 책에서는 모든 사고는 '유추' 라고 얘기한다.
연역도, 귀납도 모두 유추. 사고는 유추를 통해 끊임없이 범주화 해나가는 것.
그리고 여기서의 범주화를 '특정 상자'에 넣는 개념으로 착각하면 안된다고,
범주화는 그렇게 또렷한 것이 아니고, 유추만큼이나 주관적이고 흐릿하며 불확실하다고 얘기한다.
그렇다면 모델이 마구잡이로 학습하는 방식이 결국 인간 기준의 '연역-논리적 사고'도 해낼 것이라고 생각해 볼 수 있는 듯.
3.
'설명가능성'에 대해서도 마찬가지...
세상에 똑떨어지는 설명에 대한 시도란, 너무 1차원적이랄까 초보적이랄까.
이미 인간의 인지와 이해가 복합적인데, 하나의 단어(개념)로 설명하는 것은 실효성이 없을 만큼 과도하게 단순화하려는 시도가 아닌지.
그렇다면, '설명' 이란 어떻게 되어야 하는 걸까...
사람과 사람사이에 설명도 쉽지 않은데 말이지.
4.
인간의 개념과, 모델의 dictionary 사이의 Coverage 에 대한 한 논문의 수식.
Cov(\{f_i\},G) := \frac{1}{|G|} \sum_{g ∈ G}max_i max_{f_i} F_1(\phi_{f_i, t};g)
몇 분 간 설명해야하는 내용을 이 수식 한 줄이 커버한다. (아름다워라..)
하지만 이런 수식도 모든 가정을 다 포함하지 못할 뿐 아니라,
예를 들어 우리집 소년이 5세에 그린 호랑이는 어떻게 설명할껀데...
