챗GPT(4): 추론 모델 o1의 원리와 책 출간 소식

챗GPT 제대로 써먹기 출간

지난 9월 12일, OpenAI가 o1이라는 새로운 추론 모델 시리즈를 공개했습니다. 답변을 내어놓기 전에 단계별 사고 과정을 거치도록 설계된 o1은 과학, 코딩, 수학 분야에서 기존 모델보다 훨씬 복잡한 작업을 추론해 내고, 더 어려운 문제를 해결할 수 있습니다. 예를 들어 Codeforces이라는 프로그래밍 대회에서 전문가 수준의 점수를, 미국 수학 올림피아드 예선에서 미국 내 상위 500명 내의 점수를, GPQA라는 물리, 생물학, 화학 분야의 벤치마크에서 박사급 정확도를 뛰어넘는 성적을 거두었습니다.

기존 OpenAI의 GPT 모델이 GPT-1, 2, 3, 3.5, 4, 4o, 4o mini 등으로 명명되었는데, AI 추론이라는 새로운 장을 여는 모델이기 때문에 숫자를 다시 1로 설정해서 이 모델 시리즈의 이름을 o1이라고 붙였다고 합니다.

이번 글에서는 1) o1의 작동 원리, 2) 챗GPT 내 o1 사용법, 3) o1의 초기 버전(o1-preview)과 기존 GPT-4o 모델의 성능 비교에 대해 살펴보고, 마지막으로 책 출간 소식을 전해드리겠습니다.

1. o1의 작동 원리: 사고의 연쇄 + 강화학습

o1은 마치 사람이 어려운 질문에 답하기 전에 머릿속에서 단계별로 생각하는 것과 비슷하게, 응답하기 전에 내부적으로 사고의 연쇄(chain of thought)를 생성해서 단계별로 추론하도록 훈련되었습니다.

사고의 연쇄란 주어진 문제를 해결할 때 답에 도달하기까지 사고의 과정을 단계별로 설명하며 문제를 해결하는 방식입니다. 단순히 최종 답을 바로 제시하는 대신, 각 단계에서 어떤 과정을 거쳤고, 어떤 결론에 도달했는지를 차례로 보여주는 것입니다. 아래 예시를 살펴보겠습니다.

문제: 사과가 3개 있고, 귤이 5개 있습니다. 총 몇 개의 과일이 있나요?

최종 답: 8개

사고의 연쇄 방식으로 내어 놓는 최종 답:
1. 사과가 3개 있습니다.
2. 귤이 5개 있습니다.
3. 사과 3개와 귤 5개를 더하면 총 8개입니다.
최종 답: 8개

이렇게 단계별로 사고 과정을 거치며 문제를 해결함으로써 모델이 복잡한 문제를 더 잘 이해하고, 더 나은 답을 제공할 수 있습니다. 또 다른 예시로 복잡한 수학 문제 해결에 사고의 연쇄 방식을 적용하면 “먼저 이 부분을 계산하고, 다음에는 이 공식을 적용하고, 그 뒤 답을 도출한다”와 같은 단계를 따라가면서 더 정확하고 논리적인 답을 얻을 수 있는 것입니다.

이러한 사고의 연쇄뿐만 아니라, o1에는 강화 학습이 적용되어 인간의 기대에 부합하는 사고 단계를 거칠 경우 보상을 제공하는 방식으로 모델의 사고 과정이 더욱 개선되었습니다. 즉, 강화학습을 통해 모델이 단계별로 더 효과적인 문제 해결 방식을 선택함으로써 문제를 푸는 단계별 사고 과정이 더욱 효율적이고 논리적으로 발전하게 되는 것입니다. 실수를 인식한 뒤 수정하는 법, 복잡한 단계를 간단한 세부 단계로 나누는 법, 현재 접근 방식이 효과가 없을 때 다른 접근 방식을 시도하는 법 등이 이를 통해 강화되면서 모델의 추론 능력이 크게 향상되었습니다.

2. 챗GPT 내 o1 사용법

현재 챗GPT 유료 사용자에게 o1의 초기 버전인 o1-preview, 그리고 성능은 떨어지지만 더 빠르고 저렴한 추론 모델인 o1-mini가 공개되어 있으며, 아래 그림처럼 GPT-4o, o1-preview, o1-mini 중 원하는 모델을 선택해서 이용할 수 있습니다.

출처: https://openai.com/index/introducing-openai-o1-preview/

또한 o1-preview는 일주일에 50개, o1-mini는 하루에 50개씩 질문이 가능합니다 (9월 17일 기준). 특히 o1-mini는 추론은 필요하지만 광범위한 지식이 필요하지 않은 경우에 강력한 모델이라고 안내되어 있는데, 코딩이 한 가지 효과적인 예시가 될 수 있습니다. 또한, 모든 챗GPT 무료 사용자에게 o1-mini 액세스를 제공할 계획이라고 하는데 글 작성 중인 9월 23일 기준 아직 공개되지 않은 것으로 보입니다.

3. o1-preview와 GPT-4o 성능 비교

o1이 추론 모델의 초기 버전이라 인터넷 검색, 파일/이미지 업로드 등 기존에 제공되던 기능들이 아직은 통합되지 않았기 때문에 당분간은 GPT-4o가 더 많은 기능을 제공할 것이라고 합니다. 또한, 인간의 선호도 평가에 따르면 아래와 같이 코딩, 데이터 분석, 수학처럼 추론이 많이 필요한 작업에 대해 o1-preview의 선호도가 GPT-4o를 압도하는 반면 글쓰기나 교정 작업에서는 선호되지 않아서 아직 개선될 여지가 있는 것으로 보입니다.

출처: https://openai.com/index/learning-to-reason-with-llms/

---

책 출간 소식

지금까지 세상을 떠들썩하게 한 생성형 AI, 그중에서도 현시점 대표주자인 챗GPT가 어떤 기술적 배경과 작동 원리로 우리가 원하는 콘텐츠를 생성할 수 있는지, 어떤 한계를 가지고 있으며 이를 해결하기 위해 어떻게 발전해 왔는지 알아보았습니다. 더 자세한 이야기를 담아 “챗GPT 제대로 써먹기: 프로 일잘러를 위한 가장 쉬운 챗GPT 활용 레시피” 책을 출간하게 되었습니다.

교보문고: https://product.kyobobook.co.kr/detail/S000214297799

챗GPT 제대로 써먹기 | 조민정 - 교보문고

예스24: https://www.yes24.com/Product/Goods/133320713

챗GPT 제대로 써먹기 - 예스24

알라딘: https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=347046769

챗GPT 제대로 써먹기

챗GPT를 비롯한 생성형 AI 기술은 현재도 빠르게 진화하고 있습니다. 발전 속도가 너무 빠르기 때문에 책이 출간된 이후에도 중요한 업데이트나 새로운 기능이 계속해서 추가될 것입니다. 이렇게 새로 업데이트되는 내용은 브런치에 공유할 예정입니다.

챗GPT가 등장한 지 아직 2년도 채 되지 않았다는 것을 고려하면 이렇게 기술 전환이 시작되는 단계에서 적극적으로 새로운 기술을 활용하면서 어떠한 기회가 열릴 수 있는지를 살펴보는 것이 도움이 될 것이라고 생각하고, 이 책이 그 여정에서 작은 길잡이가 되기를 바랍니다.