7. 인스트럭션 튜닝을 알아보자

전문 지식은 필요 없지만, AI를 '어느 정도' 이해하고 싶은 당신께

지금까지 AI가 무엇이고, 어떻게 사람의 말을 이해하는지에 중점을 두고 살펴보았습니다. 오늘은 AI가 답을 어떻게 해야 할지 알려주는 학습 방식에 대해 알아보겠습니다.

인스트럭션 튜닝(Instruction Tuning)이란?

인스트럭션 튜닝(Instruction Tuning)은 설명이나 지침을 의미하는 영단어 instruction에서 알 수 있듯이, 말 그대로 AI에게 어떻게 응답할지를 가르쳐주는 기술입니다. 이를 통해 AI는 사용자의 지시를 더 잘 이해하고, 원하는 방식으로 정확한 답변을 제공할 수 있게 되지요.

물론 기존의 언어 모델은 충분히 정확한 답변을 제공할 수 있습니다. 하지만 답변이 모두 일률적이고, 상황에 맞지 않거나 인간적인 뉘앙스를 잘 담지 못할 수가 있는데요. 인스트럭션 튜닝은 이러한 문제를 해결합니다. 인스트럭션 튜닝을 통해 AI는 단순히 질문에 답하는 것에서 그치지 않고, 문맥에 맞는 역할을 하며, 특정 스타일을 반영하여 대답할 수 있게 됩니다. 그 과정을 가볍게 살펴볼까요?

인스트럭션 튜닝 과정

1. 사전 학습

우선, AI는 대량의 텍스트 데이터를 바탕으로 언어의 일반적인 패턴을 학습합니다. 텍스트의 의미를 파악하고, 일반적인 대화 흐름을 이해하는 능력을 키우는 과정이지요.

하지만 이 단계에서 AI는 문맥을 깊이 이해하거나 특정한 요구에 맞춘 답변을 생성하는 데는 한계가 있습니다. AI는 대량의 텍스트 데이터를 기반으로 문법, 어휘, 일반적인 대화 패턴을 학습하지만, 여전히 구체적 요구 사항에 대한 세부적인 이해는 부족하기 때문입니다.

2. 튜닝

이제 인스트럭션 튜닝이 들어갑니다. 인스트럭션 튜닝을 위해 ‘지침’을 제공하는 데이터를 사용하여 AI 모델을 조정하지요. 예를 들어, '문제를 해결할 때는 친절하게 답하라', '간결하고 직접적인 답변을 하라', '일상적인 대화체로 응답하라' 등 특정 방식의 응답을 학습시킬 수 있습니다. AI가 이미 학습한 일반적인 문맥 이해 능력에, 사용자가 원하는 특정한 스타일이나 기법을 추가로 적용하는 것이지요.

3. 적용

튜닝을 마쳤으니, 실제 환경에 투입되어야 합니다!

모델은 사용자와의 상호작용을 통해 정확한 응답을 제공하고, 상황에 맞는 대화를 유연하게 이어나갈 수 있도록 배포 준비를 마친 후에 적용되는데요. 모델이 실제 상황에 어울리고, 사용자의 기대에 부합하는 대화를 이어가도록 만들어야겠지요?

파인튜닝 vs. 인스트럭션 튜닝

프롬프트에 대해 알아보면서 배웠던 파인튜닝, 기억나시나요? 두 방식을 가볍게 비교해 보겠습니다.

1. 파인튜닝

파인튜닝은 AI가 이미 학습한 기본 지식을 기반으로 특정한 목적이나 분야에 맞게 조정하는 과정입니다. 이 과정에서 특정 주제나 분야에서 더 정확하게 작업을 수행하도록 AI를 학습시키지요. 파인튜닝은 주로 기본 모델의 지식을 확장하는 데 사용되며, 특정 분야에서 더 정확하고 깊이 있는 이해를 가능하게 합니다.

[예시]

법률 문서를 다루는 AI 모델을 만들기 위해, 법률 관련 데이터를 추가로 훈련

질병 진단을 하는 AI를 위해, 의료 기록 데이터를 추가로 훈련

2. 인스트럭션 튜닝

인스트럭션 튜닝은 AI가 질문에 대한 답변을 ‘어떻게’ 할지를 학습하는 과정입니다. AI가 지침에 맞는 스타일이나 응답 방식을 선택하도록 학습해야 하기 때문에, 응답 스타일이나 방식에 중점을 두고 조정합니다.

[예시]

1. 친절한 답변을 원할 때

사용자: "오늘 날씨 어때?"
튜닝 전: "오늘 날씨는 맑고 기온은 25도입니다."

튜닝 후: "오늘은 맑고 기온이 25도입니다! 기분 좋은 날씨네요, 밖에 나가서 산책하기 좋은 날이에요."

2. 간결한 답변을 원할 때

사용자: "지금 기온이 얼마야?"
튜닝 전: "현재 기온은 24도이고, 맑은 날씨가 지속될 예정입니다."

튜닝 후: "기온은 24도입니다."

3. 전문적인 답변을 원할 때

사용자: "양자컴퓨터에 대해 알려줘"
튜닝 전: "양자컴퓨터는 양자역학을 이용하여 연산을 수행하는 컴퓨터입니다."

튜닝 후: "양자컴퓨터는 기존의 컴퓨터와는 달리, 큐비트라는 양자역학적 원리를 사용해 계산을 처리하는 컴퓨터입니다. 이로 인해 병렬처리와 같은 뛰어난 연산 능력을 가지고 있으며, 특히 복잡한 문제를 해결하는 데 유리합니다."

파인튜닝은 AI를 특정 분야 전문가로 만들어 주고, 인스트럭션 튜닝은 AI에 '스타일'을 부여해 준다고 볼 수 있습니다. 두 과정 모두 대화형 AI 거쳐야 할 필수 훈련 코스라고 볼 수 있는데요. 아직 중요한 훈련이 더 남았습니다.

다음 편에서는 AI가 더 섬세하고 인간적인 반응을 보이도록 훈련하는 과정인 RLHF(Reinforcement Learning from Human Feedback)에 대해 알아보겠습니다. 전문적인 지식까지는 아니어도, AI를 어느 정도 이해하고 싶으시다면 다음 주 글도 기대해 주세요!

---

먀. AI 뉴스레터를 구독하시면 매주 재밌는 AI 이야기를 받아보실 수 있어요!

---