brunch

매거진 일상AI

라이킷 16 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 글쓰는몽글c Sep 28. 2020

시와 글을 쓰고 디자인과 코딩을 하는 AI, GPT-3

오픈AI에서 생성적 사전학습의 3번째 버전을 공개하였다.

#14.

최근 인공지능 학계, 업계에서 모두 GPT-3로 인해 다양한 이야기들이 나오고 있다.

GPT-2가 나왔을 때만 해도 자연스러운 글을 쓸 수 있구나.. 정도 였는데, GPT-3가 나오고 자연어 처리 자체가 정확해 지면서 다양하고 재미난 사례들을 보여주고 있다.

우선 GPT-3가 무엇인지에 대해서 먼저 이야기해보면 좋을 것 같다.

GPT는 'Generative Pre-Training'의 약자로 생성적으로 사전학습을 할 수 있음을 의미한다.

이 모델은 일론 머스크와 샘알트만, 그리고 기타 투자자들이 함께 만들었던 '오픈 AI'가 개발한 자연어 생성 (NLG: Natural Language Generation) 프로그램이다. 3000억개의 단어를 학습했다고 하며, 주어진 단어나 문장 뒤에 이어 배열될 단어를 예측한다. 이렇게 예측한 단어를 통해 대화맥락을 파악하고 가장 적합한 단어를 조합하여 구성하는 형태로 대화를 진행할 수 있다.

이미지 출처: http://jalammar.github.io/how-gpt3-works-visualizations-animations/

위 이미지 처럼 Input창에 문장을 적으면, 알아서 답을 찾고, 기술해주는 방식이라고 생각하면 쉽겠다.

'오픈 AI'란?
전적으로 인간에게 도움이 되는 AI를 만들기 위한 회사였으며, 특허와 기술을 대중들에게 공개하는 것이 목표로 하는 단체이다. 하지만 일론 머스크가 2018년 해당 단체에서 나온 후에 자회사 Open AI LP를 만들어 사실 돈을 벌 수 있는 회사로 변화하고 있는 중이라고 한다.

GPT이후에 오는 숫자는 쉽게 말하면 버전을 의미한다. GPT-3의 '3'은 GPT의 3번째 버전이 나온다는 것을 의미한다. GPT의 경우 2020년 6월 GPT-3를 소개했는데, 1년 만에 버전 3가 나왔으며, 버전을 높일 수록 결과물의 수준이 크게 높아지고 있다. 이는 기존보다 훨씬 방대한 학습 데이터를 활용하기 때문이지 않을까 한다.

GPT-2와 3의 파라미터와 데이터셋을 비교해본다면, 아래와 같이 확연히 차이가 남을 볼 수 있다.

GPT-2

파라미터: 약 15억개

데이터셋: 40G

GPT-3

파라미터: 약 1750억개

데이터셋: 570G

이렇게 방대한 데이터를 통해 학습한 GPT-3는 기존 딥러닝에서 필수 과정이었던 Fine-tuning이 필요없고 Few Shot Learning으로도 충분히 학습이 가능하다고 한다. (물론 Fine-tuning을 진행한다면 더 정확도가 높아지겠지만 서도..)

Few Shot Learning이란?

- Few Shot Learning:
다량의 사진을 학습하는 것이 아닌, 정말 몇 장의 사진 만으로도 학습하여 정답을 맞출 수 있음. 예를 들어 고양이 사진 3~4장만을 학습하더라도 이후 수많은 이미지 중에서 고양이를 골라낼 수 있다.

- One Shot Learning:
딱 한장의 사진 만으로도 학습하여 정답을 맞출 수 있음. 예를 들어 고양이 사진 1장을 학습, 어떤 이미지 속에서도 고양이를 찾아낼 수 있음.

- Zero Shot Learning:
이게 정말 신기방기한데, 사진으로 학습시키지 않고, 그냥 말로 '호랑이와 사자 사이에서 태어난 동물이 라이거라는 동물이야'라고 학습을 시키면, 라이거를 찾아낼 수 있다고 함.

참고: https://youtu.be/ra_0hlrCAaI

Zero Shot Learning이야말로 단순 튜링테스트가 아니라, 흔히 AI학습에서 이야기하는 중국어 방의 테스트를 뛰어넘는, 정말로 알아서 학습하는 인공지능의 시대가 GPT-3를 기점으로 온것이 아닌가 하는 생각도 든다.

설명이 조금 길어지긴 했는데, 앞에서도 이야기한 것 처럼 GPT는 현재 기준으로 가장 인간과 가깝게 자연어를 생성하는 프로그램이다. 흔히 인공지능의 발전 정도를 확인하는 튜링테스트 측면에서 놓고 본다면 매우 높은 성공율을 보이게 될 것이다. (GPT-3를 통한 미니 튜링테스트 또한 참고) 다시 말하면 GPT를 통해 자연스럽게 시를 쓰고, 소설을 쓰는 다양한 사례들이 나타나고 있으며, 학습을 통해 자연스러운 문장을 만들어내는 것 뿐만 아니라, 문장으로 적기만 하면 알아서 디자인을 해주고 코딩을 해주는 사례까지 정말 다양한 사례들이 나타나고 있다.

이렇게 다양하고 앞으로의 발전가능성을 볼 수 있는 사례들을 확인할 수 있는 이유는 오픈AI가 관련 기술을 개발자들에게 오픈API로 제공하고 있기 때문인데, 관련 사례들은 GPT CRUSH라는 사이트에서 확인해볼 수 있다.

GPT CRUSH

GPT CRUSH를 살펴보면 GPT를 활용한 재미있는 사례들을 볼 수 있는데, 이 중에 재미난 사례 몇 가지만 소개해보도록 하겠다.

#러브레터를 쓰고 시와 소설을 쓰는 GPT-3

러브레터를 쓰는 인공지능

http://gptcrush.com/resource/love-letters-written-by-gpt-3/

https://medium.com/merzazine/love-letters-written-by-a-toaster-e9e795c6409f

인공지능이 이제는 러브레터를 대신 써주기도 한다.

이러한 발상은 아래의 트윗에서 부터 시작했다고 한다.

이 내용을 본 Vlad Alex (Merzmensch) 라는 사람이 GPT-3를 활용하여 러브레터를 써주는 프로그램을 개발하게 되었는데, 재미있는 지점이 세익스피어, 트럼트 대통령 등, 다양한 사람들의 대화내용들을 학습하여 어조에 맞게끔 시를 써내려간다는 점이 흥미로웠다.

세익스피어의 러브레터

도널드 트럼프의 러브레터

그 외에도 소설을 쓰는 인공지능으로 GPT-3 Fiction라는 사이트가 있는데, 기본적인 타이트 한 문장 정도를 적으면 알아서 소설을 만들어준다고 한다. 사람이 모은 글들을 토대로 인공지능이 작성한 상상의 글인 셈이다.

인공지능이 직접 써내려간 소설을 확인해보려면 GPT-3 Fiction 사이트에서 소설 확인이 가능하다.

소설 외에 시를 쓰고 어울리는 이미지까지 GAN을 활용하여 그려낸 사례 역시 있었는데, 궁금하다면 여기를 방문해보면 자세한 내용을 확인할 수 있다.

화면 디자인을 하고, 애니메이션을 적용하는 GPT-3

화면 디자인을 할 수 있는 인공지능

http://gptcrush.com/resource/figma-website-generator/

https://twitter.com/jsngr/status/1287026808429383680?s=20

이 사례도 상당히 재미난 사례 중에 하나였던 것 같다.

해당 사례는 피그마 플러그인으로 만들어진 사례인데, 해당 플러그인을 실행시키고 'OOO사이트와 유사한 챗봇 사이트 디자인을 하나만 해줘'라고 이야기 하면 정말 그럴듯한 디자인을 만들어서 보여준다.

위 이미지는 '애플 사이트와 유사한 트위터 사이트를 그려줘'라고 텍스트로 기입했을 때 만들어낸 디자인이라고 한다. 동영상으로 확인하고 싶다면 여기를 확인해보도록 하자.

유사한 사례로 HTML을 생성해주는 인공지능은 아래 링크에서 확인할 수 있다.

http://gptcrush.com/resource/html-generator/

https://twitter.com/Bryandsouza90/status/1284827138277941251?s=20

그리고 간단한 인터랙션을 자연어로 디자인해볼 수 있는 간단한 사례도 아래에서 확인이 가능하다.

http://gptcrush.com/resource/flipbook-animator/

https://twitter.com/sonnylazuardi/status/1287563878545514496?ref=gptcrushdemosofopenaisgpt

플립북 애니메이터라는 플러그인을 피그마에서 제공을 하고 있는데, 해당 플러그인은 직접 구매해서 활용해볼 수도 있는 듯 하다. (기본 버전에서는 제공하고 있지 않는 것 같다.)

앱을 만들고 게임도 만들 줄 아는 GPT-3

앱, 그리고 게임을 만들 수 있는 인공지능

http://gptcrush.com/resource/app-generator/

https://twitter.com/sharifshameem/status/1284421499915403264

debuild

자연어를 이용해 바로 앱을 만들어내는 프로그램도 GPT-3를 활용하여 만든 사례가 있어서 소개해보려고 한다. 아래 이미지 처럼 만들고 싶은 어플리케이션에 대해서 글로 내용을 적고 [Generate] 버튼을 누르게 되면, 바로 해당 프로그램을 만들어내고 하단에 React 로 구성된 코드도 확인할 수가 있다.

간단한 To-Do 어플리케이션이라 간다한 프로그램이기는 하지만 전체 프로그램을 문장으로 기술하고 버튼 한번으로 어플리케이션을 생성할 수 있따는 것은 GPT-3의 새로운 가능성을 보여준 사례로 보여준다.

AI 던전

그 외에 AI 던전이라는 게임을 만든 사례도 확인해 볼 수 있었다.

http://gptcrush.com/resource/ai-dungeon/

해당 게임은 아래 링크를 통해서 실행해볼 수도 있는데, 웹과 모바일앱 모두 플레이가 가능하다.

웹: https://play.aidungeon.io/?ref=gptcrushdemosofopenaisgpt

Android: https://play.google.com/store/apps/details?id=com.aidungeon

iOS: https://apps.apple.com/us/app/ai-dungeon/id1491268416

AI Dungeon

90년대 머드게임과 같은 느낌이기도 하지만, 내 캐릭터를 생성하고, 세계관을 선택하고 게임을 시작할 수 있고, 상당히 자연스럽게 게임을 진행할 수 있다. (영어 버전으로만 가능) 일반적으로 이러한 어드벤쳐 게임은 게임에서 많은 의사결정이 필요한데 GPT-3 는 사용자가 입력한 동작에 따라 게임플레이의 변화하는 상태를 동적으로 생성이 가능했다고 한다.

GPT-3는 만능열쇠인가?

GPT-3는 2에 비해 많은 부분이 개선되었음에도 오픈 AI의 공동 참업자인 Sam Altman은 SNS를 통해 우려스러운 목소리를 전하기도 했다.

https://twitter.com/sama/status/1284922296348454913?s=20

Sam Altman on Twitter

“The GPT-3 hype is way too much. It’s impressive (thanks for the nice compliments!) but it still has serious weaknesses and sometimes makes very silly mistakes. AI is going to change the world, but GPT-3 is just a very early glimpse. We have a lot stil

twitter.com

그는 GPT-3에 대한 높은 관심은 매우 감사하나 과대포장이 된 경우들이 존재하며 다소 조심스럽게 접근하면 좋겠다, 그리고 GPT-3는 아직 초기 단계이며 앞으로 더 개선해야 할 점이 많다고 이야기하고 있다.

해당 프로그램은 전체적으로 품질은 높지만 긴 구절을 만나게 되면 일관성을 잃을 수 있는 단점이 여전히 있으며 엉뚱한 질문, 혹은 말도 안되는 질문에도 최선을 답을 찾으려 애쓰는 모습을 보인다고도 한다. 인종 차별적, 성 차별적인 편향된 결과를 제공한 경우들도 존재했다고 한다.

이러한 우려에도 불구하고 GPT-3는 Few-shot Learning으로도 빠른 학습이 가능하다는 점, 가장 인간과 가까움 자연어 해석을 하고 있다는 점, 그리고 Open API로 제공되고 있는 소스를 통해 앞으로 더 많은 응용 프로그램들, 그리고 발전이 있을 수 있다는 점에서 앞으로의 딥러닝의 미래라고 할 수 있을 듯 하다.