나는 비슷한 문제가 있을 때 가장 어려워 보이는 문제를 먼저 풀게 하는 게 정답을 이끌어내는 가장 빠른 길이라고 생각했다. ChatGPT 4가 1) 번 문제를 잘못 계산한 이유는 무엇일까? 영어보다 학습량이 적은 한국어로 문제를 내서 그럴지도 모른다. 브라우저를 닫고 새로 열어 1) 번 문제를 다시 물었다. 지난번과는 다르게 한 번에 정답을 계산했다. 그 사이에 학습이 된 것일까? 다시 한번 브라우저를 새로 열고 같은 문제를 주었더니 이번에는 오답을 냈다. 정답을 알려주니 다시 계산한 뒤에 정답을 이끌어냈다.
ChatGPT 4는 왜 잘못 계산을 했을까? 그 이유를 물어보니 아래와 같이 답변을 했다.
ChatGPT 4 :
이전에 틀린 이유는 문제를 정확하게 이해하지 못했기 때문입니다. 처음에 제가 잘못 이해한 것은 소금물에서 50g을 덜어낼 때 소금과 물의 비율이 동일하게 줄어들지 않는다고 생각했습니다. 하지만 실제로는 소금과 물의 비율이 동일하게 줄어들어야 합니다.
두 번째로 제가 계산을 잘못했던 이유는 소금물에서 50g을 덜어낸 후 남은 소금물의 양을 계산할 때, 농도가 여전히 10%라고 가정하고 계산했습니다. 하지만 문제에서는 물을 추가하여 농도를 5%로 만들어야 하기 때문에 이 가정은 옳지 않았습니다. 제가 문제를 정확하게 이해하고 올바르게 계산한 결과, 정답은 250g입니다. 이전의 오류에 대해 다시 한번 사과드립니다.
참고로, ChatGPT 3.5에서는 정답을 알려줘도 전혀 다른 답이 나왔다. 이 사례로 볼 때 버전 4의 추론능력이 향상된 것은 맞다. 하지만, 왜 잘못된 가정을 한 것일까? 문제를 정확히 이해하지 못했다는 말이 무슨 뜻일까?
ChatGPT는 인간이 지금까지 만든 도구 가운데 가장 지능적인 도구다. 구체적으로는, 기계 학습을 통해 인간의 추론능력을 모사한 알고리즘이다. 결과의 옳고 그름은 인간이 판단해야 하는 것이다. '올바른 결과를 바란다면 올바르게 질문해야 한다'는 중요성을 다시 떠올리게 만든다. 올바르게 질문을 하려면 문제를 파악하고 있어야 하며, 결과가 올바른지 판단하기 위해서는 충분한 지식이 있어야 한다. ChatGPT를 사용한다는 것은 이 두 가지가 충족된 상태에서 대화를 통해 원하는 바를 이끌어내는 의사소통 과정이다. 다른 말로 하면 대화식 프로그래밍인 것이다. 소크라테스 문답법은 2400년 뒤에 인공지능으로 인해서 버전 2.0이 되었다.