brunch

You can make anything
by writing

C.S.Lewis

by 게으른 개발자 Jul 16. 2024

정답을 물어보지 마세요

ChatGPT에게 무엇을 물어보시나요?

2023년 겨울 ChatGPT 가 나온 이후로 벌써 1년 반이 훌쩍 지나갔습니다. 처음 나올 때의 충격만큼은 아니지만 지금도 수많은 사람들이 이 ChatGPT를 포함한 LLM(Large Language Model)을 사용하고 있고 정말 큰 도움을 받고 있다고 생각합니다.

그런데 저 역시 이를 출시하자마자 사용하고 있던 사람으로서 이러한 LLM 이 항상 도움이 된다고 볼 수 없다는 생각이 들었습니다.

이 경우는 모든 경우에서 LLM 이 나쁘다는 것이 아니라 특정 조건을 만족했을 때 생기는 문제점입니다. 이 글의 제목과 같이 핵심은 바로 우리가 이러한 LLM을 사용할 때 곧바로 정답을 물어본다는 점입니다.

이전부터 계속 설명해 왔지만 LLM의 답변에는 "가시"가 있습니다. 즉 완벽한 정답을 내놓지 못할 확률을 항상 가지고 있습니다. 그렇기 때문에 저는 과거에도 결과물을 받으면 그대로 사용하는 것이 아닌 반드시 "검토"가 필요하며 향후에는 이런 "검토"를 전문적으로 해야 할 수도 있다고 이야기한 적이 있습니다.

그런데 많은 사람들은 이것을 그냥 맹신하는 습관이 있으며 답변을 검토하려고 하지 않습니다. 그럼 문제가 해결되지 않겠죠?

아닙니다. 그럴 것 같지만 사람들은 문제가 해결되지 않는 결과물을 다시 한번 LLM을 사용하여 물어봅니다. 이 과정을 문제가 해결될 때까지 반복합니다.

그리고 이것이 바로 잘못된 LLM 사용에 빠지는 법입니다.

LLM 이 없던 시절 우리는 문제를 해결하기 위해 구글이나 네이버 등에 수많은 검색을 하여 자료를 조사한 뒤 내가 처한 문제를 해결하기 위한 답안을 찾아냈습니다. 그리고 그 답안을 그대로 사용하는 것이 아니라 내가 처한 문제와 "접목" 하여 문제를 해결했습니다.

그리고 지금의 LLM 은 이 과정을 줄여준 역할을 잘 수행했습니다.

1. 검색하고자 하는 결과를 바로 찾아(생성) 주고

2. 처한 문제를 해결해 줄 정답을 생성(제시) 했습니다.

우리는 이 1번과 2번을 잘 구분할 줄 알아야 합니다.

1번은 우리에게 도움이 되는 일인 것은 확실합니다. 불필요한 검색을 줄여줬기 때문에 시간을 단축할 수 있었습니다.

그러면 2번은 어떨까요? 특히 개발자 분이 이 글을 보셨다면 2번은 잘 해결된 것 같던가요? 아마도 그렇지 않았을 겁니다.

결과물을 붙여 넣으면 오류가 발생하고, 그 오류를 다시 LLM에 넣고 돌리면 또 다른 오류를 낳습니다. 어느 순간부터는 이렇게 생각하게 될 것입니다.

'아 뭐야 고장 났네'

왜냐하면 LLM 은 아직 정답을 생성할 줄 모르기 때문입니다. 시간이 지나면 이것이 해결될 수도 있겠지만 어쨌든 지금 이 시점에서는 아닙니다.

LLM 은 아직 수많은 문서를 학습해서 적당한 질문을 받았을 때 그 많은 문서 중 정확히 원하는 문서를 꺼내주는 기능입니다.

책 내용에 대한 지식이 아주 풍부한 도서관 사서가 하나 있다고 생각해 보세요. 여러분은 이 사서에게 "내용은 하나도 모르겠는데 헤르미온느라는 사람이 나왔던 거 같아."라고 하면 사서는 대번에 이 말을 알아듣고 "소설책 해리포터를 찾으시는군요"라고 대답할 수 있습니다.

그런데 만약 "헤르미온느와 해리포터가 싸우면 누가 이길까?" 같은 질문을 같은 사서에게 질문해 본다고 생각해 보세요. 그는 나름의 지식을 통해 답변을 생성할 수 있지만 그것은 정답이 아닐 수 있습니다. 왜냐하면 이 사서의 역할은 수많은 책 내용을 학습하고 적절한 내용을 "꺼내" 주는 역할이거든요.

특히 이런 질문은 더더욱이나 정답이 없는 문제일 수도 있습니다. 이 사서는 정답을 "창조" 하지 않습니다. 가지고 있는 것을 "조합"해서 주는 것입니다.

그렇지만 우리는 문제를 해결할 때 "창조"의 영역에서 일을 해야 할 때가 있습니다. 그리고 그것은 반드시 "학습"이 따라야 합니다.