(11) AI가 비약적인 발전을 하게 된 계기
[문돌이의 AI] (11) AI가 비약적인 발전을 하게 된 계기
#1
AI 학습은 오래 전부터 진행되었지만 2020년 Open AI의 GPT-3이 등장하면서 완전히 새로운 단계로 레벨업 되었다고 보는 것이 일반적인 정설입니다.
GPT-3은 트랜스포머 구조와 디코더 기반의 언어 모델의 발전에 기반하여 2020년에 등장했습니다.
*** 여기서 ‘트랜스포머 구조’라 함은 심층 신경망을 통해 데이터의 중요한 부분을 더 잘 파악하고 처리할 수 있게 하는 기술입니다. 이 방식은 문장이나 단어 간의 관계를 효과적으로 학습하는 방식입니다. 또 ‘디코더 기반의 언어 모델’이라 함은 트랜스포머 구조를 사용하여 주어진 문장 또는 단어에 이어질 내용을 예측하는 모델을 의미합니다. 이는 기계가 자연스러운 언어를 생성하고 이해하는 데 도움을 줍니다. ***
#2
이전 모델인 GPT-2의 성공에 힘입어, 연구자들은 더 많은 데이터와 파라미터를 사용하여 언어 이해와 생성 능력을 대폭 향상시킨 GPT-3를 개발했습니다.
*** 데이터의 예로는 문장이나 이미지 같은 것을 들 수 있습니다. 예를 들어, "고양이는 귀엽다"라는 문장은 언어 모델을 학습시키는 데 사용되는 데이터입니다. 파라미터의 예로는 '신경망의 가중치'가 있습니다. 이 가중치들은 학습 과정에서 조정되어, "고양이"라는 단어를 볼 때 "귀엽다"라는 단어와 어떤 관계가 있는지 모델이 이해하도록 돕습니다.***
#3 GPT-3 등장의 중요성
가. 대규모 파라미터: GPT-3는 1750억 개의 파라미터를 갖추고 있어, 이전 모델들보다 훨씬 복잡하고 깊은 언어 이해를 가능하게 했습니다.
나. Few-shot Learning: GPT-3는 몇 개의 예시만으로도 새로운 태스크를 학습할 수 있는 능력을 보여줬습니다. 이는 예시를 주지 않거나 한두 개만 주어도 높은 수준의 작업 수행이 가능함을 의미합니다.
** 예 : 당신이 AI에게 "고양이의 특징은 무엇인가요?"라고 물어보고자 할 때, 당신은 AI에게 먼저 "사자는 크고 강력합니다"와 "호랑이는 줄무늬가 있습니다"라는 두 개의 예시를 제공합니다. AI는 이 정보를 바탕으로 "고양이는 작고 독립적입니다"라고 대답할 수 있습니다. ***
다. In-context Learning: 사용자의 입력과 상황을 고려하여 보다 정확하고 상황에 맞는 답변을 생성할 수 있습니다. 이는 AI가 사람과 더 자연스러운 대화를 나눌 수 있게 만듭니다.
*** 예 : 당신이 AI에게 여러 가지 식물에 대한 정보를 요청할 때, AI는 질문의 맥락을 이해하여 식물의 특징, 생태계의 역할 등 다양한 관련 정보를 제공할 수 있습니다. 이는 AI가 주어진 문맥과 상황을 바탕으로 더 풍부하고 관련성 높은 답변을 생성하는 능력을 의미합니다.***
