목적함수

20240421

2017년쯤,

약인공지능(A Narrow I)-강인공지능(A General I)-초인공지능(A Super I) 에 대해 한참 흥미로워 했었는데,

AGI 시대부터는 objective function 설정이 매우 어렵겠다는 생각이 들면서 관련 내용을 찾아다녔었다.

특히 성능에 대한 목적 함수를 넘어, 안전(+윤리)에 대한 목적 함수는 어떻게 정의해야 할지,

가능하다면 그 둘을 합친 목적 함수는 어떻게 정해야할지가 고민되어야 한다.

그러다 찾은 개념이 Coherent Extrapolated Volition (2004, Eliezer Yudkowsky, Friendly AI 에 대해 연구하다 정의한 개념)이었다.

’우리가 더 많이 알고, 더 빨리 생각하고, 바라는 사람이 되고, 더 멀리 함께 성장했다면‘ 우리가 무엇을 원하는지 예측하는 CEV를 계산해야 하며, 인류 전체에 대해 반복적으로 수렴되는 욕구를 결정해야 한다는 것이다.

CEV는 하나의 시도이지만,

이런 목적함수가 미리 셋팅되지 않으면, AGI 그리고 ASI는 무엇을 향해 갈지 알 수(컨트롤 할 수)없게 되는 것이 아닐지…

사안을 접근하는 방식이 오픈AI보다 앤트로픽이 좋다. 한 스텝 더 근본적인 원인을 찾고자하는 느낌적인 느낌.

클로드 3.0에 적용했다는 Constitutional AI 를 보고는, 다시금 떠올라 CEV 논문을 들여다 보는 중 ㅡ.ㅡ

* 수렴하기 쉽지 않은 광역 의식의 흐름