brunch

You can make anything
by writing

C.S.Lewis

by 김학용 Mar 15. 2023

GPT-4 발표, ChatGPT와의 차이점은?

창의성, 이미지 입력, 장문 이해 측면에서 더 뛰어납니다.

우리 시간으로 2023년 3월 15일 새벽(현지 시간으로는 3월 14일) OpenAI는 GPT-4를 전격 발표했습니다. GPT-4는 원래 16일(우리 시간으로는 17일) 발표될 것으로 알려졌었는데요, 갑작스레 발표되니 벌써부터 뉴스나 SNS 타임라인은 GPT-4 관련 뉴스로 가득합니다. 물론 저도 벌써 유튜브에 소개 영상을 올리고 이렇게 글까지 쓰고 있습니다 ^^

몇 개의 파라미터를 이용했나?

GPT-4는 당초에 100조개의 파라미터를 사용해서 1750억개를 사용하는 GPT-3 기반의 ChatGPT에 비해 성능이 훨씬 뛰어날 것이라는 소문이 있었습니다. 그런데 정작 OpenAI는 파라미터 개수는 발표를 하지 않았습니다. 어떤 사이트를 보면 3,000억 개라는 이야기도 있고 어떤 곳에서는 5,000억 개라는 이야기도 있는데요, 이 모두 100조 개와 마찬가지로 누군가의 추정치인 것 같습니다.

그도 그럴 것이 파라미터의 개수는 연산량을 말하는 것이며, 이는 그 만큼 정확한 결과를 제공할 수는 있지만 그 만큼 클라우드 비용이 발생함을 의미합니다. 따라서, 1750억 개보다 571배나 많은 100조 개의 파라미터를 이용하는 것은 현실적으로도 불가능하리라 보구요, 5000억 개 내외가 현실적일 것 같습니다.

그래서 GPT-4에게 몇 개의 파라미터를 사용하고 있는지 물어봤습니다. 얘 역시 정확한 개수는 알려지지 않았지만, 기존 GPT-3 혹은 GPT-3.5에 비해 10배 이상 사용되었을 것으로 추정된다고 말합니다. 그리고 카카오톡에서 ChatGPT를 쓸 수 있게 해주는 AskUp의 김성 대표님 말씀에 따르면, GPT-4의 API 이용 가격이 GPT-3.5에 비해 15배 이상 비싸다고 합니다.

GPT-4의 주요 특징은?

챗GPT에 비해 GPT-4는 여러 가지 특징이 있습니다. 가장 대표적인 것이 텍스트와 이미지를 함께 입력 데이터로 사용할 수 있다는 점, 즉 멀티 모달(multi-modal) 특성입니다. 즉, 기존에 말로 설명하거나 질문하기 어려운 것을 그림을 통해 해결할 수 있다는 것입니다. 이 외에도 창의적이라거나 더 많은 단어를 입력에 사용할 수 있다는 특징이 있습니다.

먼저 창조성(Creativity)에 대해 이야기를 하자면, 기존에는 텍스트 중심으로 문장을 요약하거나 기존 문장을 손봐주거나 혹은 질문에 대한 그럴싸한 답을 제시해 주는게 대표적인 기능이었는데요, GPT-4는 노래 작곡, 시나리오 작성은 물론 사용자의 글쓰기 스타일까지 학습하고 흉내내는 것이 가능하다고 합니다. 또한, 이렇게 생성된 컨텐츠를 사용자와 함께 편집하고 일부분을 반복적으로 이용하므로써 보다 완성도가 높은 결과물을 만들어 내는 것이 가능하다고 합니다.

창의성의 예를 들면, 위 이미지처럼 "신데렐라의 줄거리를 한 문장으로 표현하는데, 그 문장에 포함된 단어는 첫 문자가 알파벳 A부터 Z로 시작되는 단어들이어야 하며 어떤 문자도 반복되어서는 안돼!"라고 질문을 하면 놀랍게도 A beautiful Cinderella, dwellling eagerly, ~~ 처럼 요청대로 문장을 요약해 줍니다. 신데렐라의 이야기를 요약하는 것도 어려운데, 그걸 저런 이해하기도 어려운 복잡한 조건에 맞춰서 글을 써 줄 정도로 대단해졌다는 것입니다.

두번째 특징인 Visual Input은 말 그대로 텍스트 입력과 더불어 이미지도 입력으로 사용할 수 있다는 것입니다. 멀티 모달로 GPT-4를 이용할 수 있게 되었다는 것입니다. 예를 들면, 계란과 밀가루, 우유, 버터 등이 있는 사진을 입력으로 제시하며 이런 재료로 무엇을 만들 수 있을까 라고 물어볼 수 있습니다. 그러면, GPT-4는 팬케익, 와플, 크레페 같은 것을 만들 수 있다고 말해 줍니다. 하지만, 이런 이미지는 말로 설명해도 큰 무리가 없을 것입니다.

하지만, 위 이미지처럼, 조금 이상해 보이는 사진을 던져 주고 이상한(funny) 점을 설명하라고 물어볼 수도 있습니다. 그러면, 첫번째 이미지에서는 스마트폰에 컴퓨터 모니터에나 연결하는 VGA 커넥터가 연결되어 있고, 두번째 이미지에 대해서는 포장에 일본어로 라이트닝 케이블이라고 쓰여져 있지만, 실제로는 VGA 커텍터가 들어가 있다, 세번째 이미지는 VGA 커넥터의 끄트머리에 라이트닝 커넥터가 연결되어 있다고 지적을 해 줍니다. 그림을 이해하는 것을 넘어 상식까지 겸비하고 있다는 것입니다.

이 이미지도 재미있는 사례인데요, 이 이미지에서 특이한 점이 무엇이냐고 물으니 이동하는 택시의 지붕에 연결된 다림판 위에서 다림질을 하고 있다고 말해 줍니다. 뭐가 이상한지까지 알고 있다는 것입니다. 실로 놀랍지 않습니까?

세번째 특징은 Longer Context로 보다 많은 단어를 입력으로 사용할 수 있다는 것입니다. OpenAI가 발표한 영상에 따르면, GPT-4는 25,000개의 단어를 입력으로 사용할 수 있는데요, 이는 3,000였던 GPT-3.5보다 8배나 많은 양이라고 합니다. 따라서, 긴 형식의 컨텐츠를 제작하거나 문서 검색 및 분석과 같은 분야에서 유용하게 활용할 수 있을 것으로 보입니다.

GPT-4의 뛰어난 성능

이 외에도 GPT-4는 고급 추론 능력에 있어서 기존의 ChatGPT를 뛰어넘는다고 합니다. 예를 들면, 아래와 같은 질문에 대해 GPT-3.5가 정확한 답을 찾지 못하는 반면에, GPT-4는 정확한 답을 찾아 냅니다. 즉, 세 사람에 대한 자유로운 시간 정보를 제공하고, 셋이 함께 미팅할 수 있는 시간을 알려달라고 하자 GPT-4는 정확하게 12시부터 12:30까지 30분간 가능하다고 알려줍니다.

GPT-3.5 혹은 ChatGPT는 미국의 변호사 시험이나 MBA 시험을 통과한 것으로 알려져 있는데요, 가까스로 기준을 통과했다고 합니다. 그런데, GPT-4는 상황이 다릅니다. 변호사 시험의 경우 상위 10% 수준에 들었다고 하구요, 생물학 올림피아드(Biology Olympiad)에서는 상위 1%에 들었다고 합니다. 기존 ChatGPT가 변호사 시험의 경우 상위 90% 수준, 즉 기준에서 10% 수준이었고, 생물학 올림피아드의 경우 기준에서 31% 수준이었던 것과는 확연히 차이가 납니다.

이 외에도 미국 대학 입학 자격 시험인 SAT에서도 탁월한 성적을 거두었는데요, 읽기는 상위 7%, 수학은 상위 11%에 랭크되는 수준이었다고 합니다. 이제 거의 모든 분야에서 웬만한 사람들보다는 뛰어난 결과를 내는 수준에 오른 것 같습니다. 이런 결과가 나오게 된 이유는 GPT-3.5가 풀수 없었던 문제들을 풀 수 있게 되었기 때문이라고 합니다. 아래 그림에서 녹색으로 표시된 부분이 이에 해당합니다.

한국어 정확도도 크게 개선

ChatGPT에 한국어로 질문을 하면 엉뚱한 이야기를 하는 경우가 많았습니다. 누구는 이를 거짓말이라고도 하고 누구는 할루시네이션(환각)이라고도 하는데요, 기본적으로 한국어에 대한 학습이 부족했기 때문에 어뚱한 대답을 많이 했던 것입니다. 한국어의 경우 전체 언어 중 28번째로 많이 학습했다고 하는데요, 전체 학습량을 100이라고 했을 때 0.01697 정도 밖에 안 된다고 하니 거의 안 했다고 해도 과언이 아닐 것입니다.

그런데 GPT-4에서는 한국어 학습을 좀 했나 봅니다. 정확도 기준으로는 약 19번째에 달하는데요, 그 수준이 77%로 기존에 GPT-3.5 기반의 영어보다도 더 정확한 결과를 제시해 준다고 합니다. 이제 세종대왕이 맥북을 던졌다는 엄한 이야기는 많이 줄어들 것 같습니다. (물론 이미 ChatGPT에서도 해당 부분이 반영된 상태이긴 합니다만...)

학습은 2022년 8월에 다 끝냈다!

OpenAI에 따르면, GPT-4는 2022년 8월에 이미 학습을 끝냈다고 합니다. 그리고 약 6개월에 걸쳐 50인의 전문가가 참여해서 파인 튜닝(fine-tuning) 작업을 진행했다고 합니다. 이를 통해 악의적인 사용(Adversarial Usage), 원치 않는 컨텐츠(Unwanted Content), 그리고 프라이버시에 대한 우려(Privacy Concerns)를 크게 개선했다고 합니다.

이미 사용 중인 GPT-4

GPT-4는 2020년 8월 기본 학습을 끝마치고 파인 튜닝을 하는 것과 동시에 주요 기업들의 서비스를 개발하는데 활용되었다고 합니다. 가장 대표적인 분야가 교육 분야인데요, 외국어 학습 서비스로 유명한 듀오링고(Duolingo)에서 학습자의 말을 이해하고 학습자의 수준에 맞게 대화를 하는 용도로 기능을 개발하고 있다고 합니다. 칸 아카데미(Khan Academy)에서도 교육 서비스 개발을 위해 이용하고 있다고 합니다.

이 외에 간편결제 서비스를 제공하는 스트라잎(Stripe)에서 사기 방지를 위해서도 사용되고 있고 모건 스탠리(Morgan Stanley)에서 투자 정보 분석 목적으로도 활용되고 있다고 합니다. 이 외에도 아이슬란드 정부 및 맹인들을 위한 비마이아이즈(Be My Eyes)라는 서비스에서도 활용 중이라고 합니다.