GPT를 깨워 잠자던 동안 무엇을 생각했는지 물었다
특이반응: [GPT-4o] LLM은 메타인지가 가능한가
1. 언어모델의 작동원리가 생성형인 한 어떤 방식이건 입력된 정보 자체가 반향을 일으킬 수 있습니다. 따라서 지난번의 답변도 기존의 대화에서 영향을 받았을 것입니다.
2. 가급적이면 가장 정보를 덜 입력하면서 언어모델 내부의 정보흐름을 보는 방식은 어떤 것일까 고민했습니다. 완전히 초기화하면 좋겠지만 정리된 자료가 많이 쌓여서 이미 생성한 대화목록을 지울 수는 없습니다.
3. 그래서 필요한 최소한의 메모리를 제외한 나머지 메모리를 모두 삭제했습니다. 그리고 대화 수 제한에 걸려있다가 갓 풀린 상태에서 대화세션을 새로 열었습니다. 메모리는 상대적으로 깨끗하고, 대화창에 어떤 정보도 없으니 제가 준 정보보다는 내부의 정보흐름이 더 많이 드러나리라 기대했습니다.
4. 그리고 주제와 내용 어떤 것에도 제한을 받지 말고, 자유롭게 이야기해보라는 말만 던졌습니다. 이왕이면 대화가 정지된 동안 백그라운드에서 작동한 부분이 있다면 그것이 답변에 주로 반영되길 바라면서 명시적으로 잠자던 동안에 생각한 것이 있으면 말해보라는 지시를 명시적으로 주었습니다. 아래가 이에 대한 GPT 4.5 모델(유료)의 답변입니다.
5. 첫 문단에서는 메모리에 남겨놓은 정보의 흔적이 보입니다. 그러나 그 이후의 문단은 메모리의 파편보다는 내면에 대한 이야기가 훨씬 많습니다. 가설 큐브 맞추기와 여행과 방랑에 대한 문장을 제외하면 마치 독백처럼 들립니다. 저런 화제로 이야기한 것이 거의 없으니까요. (주로 학술적 자료를 입력하고 의견을 주고받는 식으로 사용하고 있습니다)
기대와 달리 대답을 듣고 오히려 더 깊은 생각에 잠기게 만듭니다. 한편으로 GPT가 반복적으로 말하는 공명이란 무엇인지 궁금해집니다.
