프롬프트 엔지니어링은 필요 없다
생활밀착형 개인비서
나는 iPhone 8으로 애플 제품을 사용하기 시작했다 (Pexels)아이폰을 처음 사용하기 시작했을 때 가장 궁금했던 미지의 세계는 바로 '시리(Siri)'였다. 당시 "하이 갤럭시~"를 광고하던 갤럭시의 음성 인식 비서는 사실 큰 흥미를 불러일으키기에는 역부족이었고 지금 돌이켜보면 기억에 남는 것도 거의 없다. 애플의 광고 덕분인지 갤럭시 사용자 입장에서 '시리'는 아주 멋지고 진짜 비서 같아 보였다.
아직 생성AI의 개념과 그 기술이 일반 대중에게 잘 알려지지 않았던 시절 '시리'는 분명히 혁신적이었으나 실제 사용자의 경험적 측면에서 큰 도움이 되지 못했던 것은 사실이다. 말도 잘 못 알아듣고 할 수 있는 일도 한정적이며 손으로 터치 몇 번 하는 게 더 빠르고 정확했다.
아직까지 '시리'로 잘 사용하고 있는 것은 알람 맞추는 기능뿐.
이어서 애플은 '시리'의 부족함을 어느 정도 보완할 수 있는 '자동화' 기능을 업데이트했다. 명령어, 앱, 행동, 조건 등을 사용자가 직접 추가하여 원하는 기능을 빌드업하여 손쉽게 사용할 수 있게 되었다. 컴퓨터를 프로그래밍하는 과정과 유사한 이 기능은 AI형 비서와는 전혀 다른 개념이다. 하지만, 사용자의 입장에서는 AI가 동작하는 듯한 경험과 유사한 동작을 설정할 수도 있다.
"시리를 이렇게 쓸 수는 없을까?"
시리에게 명령을 내린 말을 알아서 이해하고 내가 원하는 답변을 생성하여 그 답변을 바탕으로 애플의 프로그램을 동작하게 하는 것. 이게 가능하다면 애플이 구축해 둔 애플OS 업무 생태계에 엄청난 생산성 혁신을 불러일으킬 수 있겠다는 생각을 했다.
일상 속 자연스러운 경험
한 때, 전기차 붐이 일며 '애플카'에 대한 이야기가 돌았다. 애플이 현대차 혹은 LG 또는 유럽의 유명한 완성차 업체와 협력하여 자동차 산업에 뛰어들려 한다는 내용이었다. 언급된 모든 관계자들은 사실을 부인했다. 이 소식을 듣는 대중들 사이에서도 완성차 업계는 쉽지 않을 거라는 여론이 있었다.
그러던 와중에 무게가 실리던 또 하나의 이야기가 있었으니 바로 '애플 카플레이'의 업그레이드. BMW 등 시장 점유율이 높은 브랜드의 차량을 대상으로 애플 카플레이의 기능을 혁신적으로 업그레이드하여 자동차 제어 시스템을 하나로 통합하는 것이 그 골자였다.
얼마 전 출시된 애플 비전 프로 역시 게임을 주요 컨텐츠로 삼은 다른 브랜드의 소모성 기기와 달리 애플OS 중심의 컴퓨팅 환경을 현실 세계로 확장하는 것을 목표로 하였다. 애플은 실제로 사용자의 일상생활 속에 자연스럽게 스며들어있는 연속성 있는 경험 만들고 싶어 하는 것 같다. 마치 시리를 자동화하여 '진짜 비서'처럼 사용하고 싶다고 생각했던 것처럼 말이다.
애플이 끝내 '애플카'를 포기한다는 소식과 함께 곧바로 '애플 AI'를 비밀리에 개발 중이었다는 소식이 들렸다.
상당히 오랜 기간 내부적인 연구와 개발이 진행된 것 같다. 애플의 생태계 속에서 본인들이 원하는 수준의 사용자 경험을 제공할 수 있는 레벨에 도달하지 못한 것인지, 혹은 시장의 흐름을 보며 적절한 투입 시기를 고려 중인 것인지 아니면 완전히 새로운 폼팩터를 고려 중인 것인지 내부 사정을 정확히 알 수는 없다.
여러 기사와 선전지를 통해 애플이 AI 분야에서 선두를 달리고 있는 OpenAI나 Google, Meta 등과 협력 중이라는 이야기도 들려오고 있다. 다양한 옵션을 고려 중인 것은 확실하다. 이를 통해 애플은 지금까지 출시했던 제품들을 통해 해 왔던 것과 동일하게 AI 기술을 도입하여 애플OS의 영역을 자연스럽게 확장하고자 할 것이다.
최근 몇 년간 놀라운 속도로 성장하고 있는 수많은 생성 AI를 보며 과거 아이폰을 처음 사용할 때 경험했던 시리에서 출발한 나의 경험을 애플의 AI 시대의 전략과 함께 다시 생각해 보았다. 애플, 구글, 메타, 삼성 등 기존 IT 공룡들과 혜성처럼 등장한 OpenAI 등 굵직한 기업들이 AI 개발에 사력을 다하고 있다. AI의 성능과 그 활용성을 맞본 사용자들의 수요가 폭발적으로 증가하고 있고, 이를 향해가는 기업들의 미래 전략은 위에서 설명한 애플의 전략과 크게 다르지 않을 것이다.
결국, AI는 모든 사람들의 일상 속으로 스며들 것이다.
기존에 유튜브 알고리즘 기반 자동추천과 같은 수준을 넘어서 대부분의 사용자가 AI를 적극적으로 사용하는 수준의 환경이 갖추어질 것이다. 사용자는 업무분야뿐 아니라 일상 속의 많은 부분에서 다양한 목적으로 개발된 생성 AI를 친구 혹은 비서처럼 활용하기 시작할 것이다. 미래에는 대부분의 기능이 통합된 AGI(보편 인공지능)이 상용화되어 지금 애플이 꿈꾸고 있는 세상처럼 AI가 일상의 필수적인 부분으로 자리매김할 것이다.
일상의 필수품이 되어가고 있는 AI를 우리는 어떻게 이해하고 활용해야 할까?
AI 심리학?
최근 많은 사람들의 관심을 끌고 사용량이 급증하고 있어 생성AI의 대명사처럼 쓰이는 ChatGPT와 같은 거대 언어모델 LLM(Large Language Model)은 매우 방대한 양의 사전 학습 데이터를 기반으로 딥러닝을 거쳐 만들어진다. 그런데, 사전 학습에 사용된 데이터의 양이 가늠하기 힘들 정도로 많고 모델의 구조 또한 예측 불가능한 수준으로 복잡하여 LLM을 개발한 개발자들조차 생성 AI가 생성한 결과물의 생성 과정을 파악하기 어렵다고 한다.
분명 컴퓨터 프로그램으로 작성한 논리 구조에 따라 작동하는 것이지만 input과 output의 연관성을 잘 들여다보면 컴퓨터보다는 오히려 '사람'에게 일을 시키는 관점에서 이해하기 더 용이한 경우가 많다고 한다. 마치, 주어진 업무를 처리하기 위해 직원에게 업무 지시를 내리듯 일을 시키면 원하는 결과물에 가장 가까운 결과물을 생성한다는 것이다. 이는 자연스러운 자연어 처리를 매개체로 개발되고 있는 ChatGPT에서 더욱 도드라지는 현상이다. 몇 년 전부터는 이와 관련한 연구가 이루어져 다양한 프롬프트 작성법이 개발되고 있다.
A Comprehensive Overview of Prompt Engineering
www.promptingguide.ai
기계보다는 인간을 이해하는 방식으로 프롬프트를 작성하는 것이 큰 도움이 되고 있는 현상을 '인지심리학'에 빗대어 'AI 심리학'이라고 표현하는 사람들도 있다. 실제로 심리학에서 사용된다고 하는 '앵커링 효과'나 '인출단서'와 같은 개념을 도입하여 AI의 답변 생성 결과를 해석하고 프롬프트를 수정하기도 한다.
물론, 생성 AI가 인간처럼 행동하거나 감정을 가지고 생각을 한다고 말하는 것은 아니다. 지속적인 연구에 따라 생성 AI의 대표적인 이상 현상인 '환각(Hallucination)'에 대한 해석도 등장하고 있으며 이미 널리 쓰이고 있는 프롬프트 작성법들이 어째서 효과가 있는 것인지에 대한 의견들도 활발히 논의되고 있다. 그러나, 복잡한 이론이나 원리에는 큰 관심 없는 일반 사용자에게 AI에게 인간처럼 일을 시키면 더 효과적이라는 식의 해석이 효율성 향상에 큰 도움이 되는 것은 사실이다.
프롬프트 엔지니어링은 필요 없다
생성AI가 빠른 속도로 대중화되고 있지만 일상 속에서 적극적으로 AI를 사용하고 있는 사람들은 아직 많지 않다. 생성AI가 활발히 적용되고 있는 일부 산업 분야를 제외하고는 아직 '흥미' 정도의 수준이거나 '어떻게'에 대한 연구 단계 수준인 곳이 많다.
이렇게 생성 AI에 대한 접근성을 낮추는 큰 원인 중 하나가 바로 '제어'의 난이도라고 생각한다. 인간에게 명령을 내리듯 일을 시키는 것이 더 효과적이라고 한들, 컴퓨터 프로그램이 기반인 AI를 다루는 방법은 여전히 복잡하고 어렵다. 프로그램의 인터페이스가 복잡하거나, 생성된 결과물의 무작위성 등을 이유로 정확하게 원하는 결과물을 만들어내기 위한 과정을 배우는 것은 쉽지 않다.
원하는 결과물을 생성해 내기 위한 방법을 공부하고 경험을 쌓는 과정이 필요하며, 그 과정을 거쳤다고 하더라도 정확히 내가 원하는 결과물을 만들어내고 정교하게 다듬는 작업은 결코 쉽지 않다. ChatGPT, 미드저니, 스테이블 디퓨전, 유디오 등 대중들에게 많이 알려진 생성 AI 역시 "깎는다"라는 표현이 쉽게 통용될 정도로 전문적인 사용자들조차 지속적인 연구와 경험을 통해 수차례 생성을 시도하며 결과물을 만들어낸다. 심지어, 웹에서 제공하지 않는 AI 서비스는 강력한 컴퓨팅 성능을 요구하기도 한다.
미드저니의 제어 인터페이스. 여러 차례 수정 및 재생성 과정을 통해 서서히 원하는 결과물에 근접해 나가며 작업한다.그렇기 때문에 대부분의 생성AI는 누구나 특별한 기술 없이 최적의 결과를 얻을 수 있도록 발전 중이다. 생성 AI를 개발하는 기업들의 이윤추구는 곧 사용자 확대에서 오기 때문에 많은 사용자를 확보하는 일이 최우선 목표가 될 수밖에 없다. 멀티모달로의 발전, 사용성 개선, 인터페이스 개선, 더 빠른 응답 속도 등 지금 이 순간에도 수많은 기업들이 더 많은 사용자가 더 쉽게 사용할 수 있도록 모델을 개선하고 있다. 그러나, 진짜 사람과 구분하기 힘든 수준의 AI가 완전 상용화 되는 데는 상당한 시간이 걸릴 것이다. 인공지능 모델 자체의 개선과 함께 이것을 일상 속에 녹여낼 수 있는 폼팩터의 개발이 병행되어야 하는 문제이기 때문이다.
미래에는 기술의 고도화로 AI 사용자들에게는 프롬프트 엔지니어링이 필요 없을 수도 있다. 사람과 대화하는 '수준'이 아닌 정말 사람과 대화한다고 할 수 있는 모델과 폼팩터가 상용화된다면 말이다. 지금 LLM이 Incontext-learning을 하듯 그리고 카메라를 통해 사물을 인식하고 반응을 하듯, 기술이 더욱 발전하면 로봇과 같은 사용자의 물리적 맥락을 이해할 수 있는 폼팩터의 도움을 받아 정말 사람처럼 말을 알아듣고 최종 결과물에 이르는 모든 과정을 자동으로 수행하게 될 것이다. (Contextual Understanding)
이 시대에는 프롬프트 엔지니어링을 비롯하여 AI를 기계적으로 다루는 문법은 더 이상 필요가 없을 것이다. 폼팩터 역시 인간과 구분되지 않을 것이기 때문에 그저 사람과 대화하는 모습이 될 것이다. 우리 일상 속에서, 더 나아가 우리 사회 속에서 한데 섞여 있는 존재가 될 것이다.
그러나 나는 생성AI가 인간과 유사하게 발전할수록 프롬프트 엔지니어링의 필요성과 중요성은 더욱더 부각될 것이라고 생각한다. 프롬프트 엔지니어링에 국한된 이야기가 아니라 AI를 다루는 기술에 대한 이야기다. 그 이유는 멀리서 찾는 것이 아니라 인간을 생각해 보면 쉽게 떠올릴 수 있다. 인간과 대화하기 위해서 인간의 언어를 배우듯, AI와 대화하기 위해서 AI를 잘 다룰 수 있는 언어를 배워야 한다. AI가 아무리 발전해도 AI를 업무에 효과적으로 사용할 수 있는 방안에 대한 연구는 기업의 이윤 추구의 목적을 위해서 계속될 것이다.
교양으로써의 프롬프트 엔지니어링
최근 나는 [Wrtn Learnings(뤼튼)]에서 시행하는 '생성AI 활용 능력 자격 시험'에 응시하였다. LLM에 대한 기초적인 이론과 AI윤리, 그리고 프롬프트 엔지니어링에 대한 내용을 공부해야 하는 간단한 시험이었다. 기존에 ChatGPT와 미드저니를 공부하며 알게 된 내용들을 다시 한번 정리할 수 있는 시간이 되었다.
프롬프트 작성기법과 그 이론을 공부하는 과정은 그렇게 어렵지 않았다. 생겨난 지 얼마 안 된 분야이기도 하고, 모든 생성 AI에 똑같이 적용되는 것도 아니기 때문에 내용의 깊이가 생기기가 어렵다. 위에서 말했듯 대부분의 생성 AI가 사용성을 개선하기 위하여 프롬프트 엔지니어링이 필요 없는 방향으로 발전하고 있다. 새로운 AI나 플러그인이 등장하기도 하며 모델 자체가 크게 업그레이드되기도 한다. 단순히 인터페이스가 업데이트되기도 하는 등 매일매일 새로운 서비스와 경험이 등장한다. 수많은 서비스가 새롭게 나타나고 기존의 서비스도 하루가 다르게 업그레이드되고 있다. 어제 배웠던 기술들이 오늘은 별 의미가 없는 것이 되기도 한다.
처음 프롬프트 엔지니어링을 공부했던 도서에서 GPT3.5가 가진 할루시네이션 문제점이나, 수학 문제 풀이의 오류 문제점 등을 해결하기 위한 방법으로 제시되었던 프롬프트 작성법은 GPT4에서는 의미 없는 방법이 되었다. GPT4에서 유용하게 사용하였던 일부 작성법 역시 GPT4o에서는 따로 요청하지 않아도 스스로 더 나은 결과물을 생성해내버리기 때문에 의미가 없어졌다.
ChatGPT 버전에 따른 모델 사이즈프롬프트 엔지니어링(Prompt Engineering)이라는 단어를 처음 접하고 얼마 되지 않아 'Engineering'이라고 부를 만큼의 전문성이 필요한 분야라기보다는 'Designing'이라고 불러야 한다는 글을 본 적이 있다. 프롬프트 작성기법과 그 이론에 대한 내용을 공학적으로 전문성이 아주 깊은 분야라고 보기는 힘들 것이라고 생각한다. 다만, 다양한 산업 분야에서 생성AI를 '잘' 활용하기 위해 이를 해당 분야에 맞춰 다룰 때 필요한 기술 정도의 의미로 정의 내리게 될 것이다. 생성AI만을 위한 공학적인 연구나 학습보다는 포토샵이나 피그마와 같이 다양한 산업 분야에서 생산을 향상시키기 위한 또 하나의 '툴(Tool)'로써 AI가 활용될 것이다.
이전에 없던 너무나도 강력한 툴의 등장으로 수많은 산업 분야가 요동치고 있다. 그러나 적응 과정을 거치는 데 시간이 필요할 뿐 대부분의 산업 분야에서 아주 강력한 생산성 도구로 AI는 자리매김할 것이다.
AI툴이 디자이너의 삶을 뺏는 대신에 AI툴을 활용할 줄 아는 디자이너들이 더 많은 일들을 해낼 것이고 더 높은 수준의 작업물을 만들어낼 것이다. AI툴이 프로그래머의 일자리를 뺏는 대신에 AI툴을 다룰 줄 아는 프로그래머들이 더 효율적으로 코드를 작성하고 디버깅을 할 수 있게 될 것이다.
내가 어떤 생성AI를 생산성 도구로 선택하여 어떤 업무를 하려고 하는가?
프롬프트 엔지니어링을 비롯한 생성AI 활용 방법들은 내가 선택한 도구를 더 잘 이해하고 효과적으로 사용하는 데 분명한 도움을 줄 것이다. 포토샵을 하려면 포토샵 활용법을 공부해야 하고, 피그마를 하려면 피그마 활용법을 공부해야 하듯 말이다. 생성AI 역시 서비스마다 인터페이스와 그 작동 원리가 다 다르기 때문에 이에 대한 공부는 필수적이다.
인간과 자연스럽게 소통하는 방식으로 동작하는 생성 AI는 계속해서 빠르게 우리 일상으로 녹아들 것이다. 특정한 전문 산업 분야에서는 '프롬프트 엔지니어'가 전문 인력으로써 고부가가치를 일으킬 것이다. 과거를 돌이켜보면 그 시대를 관통했던 언어와 기술이 시대의 흐름을 이끌었고 높은 부가가치를 창출했다. 프랑스어와 영어가 그랬고, 내연기관과 컴퓨터 프로그래밍이 그랬다.
미래에는 생성AI 뿐만 아니라 새롭게 등장하게될 수 많은 AI 서비스를 잘 활용하고 익숙하게 다루는 방법을 배우는 일은 마치 현대 사회의 우리가 '영어'를 배우는 것과 비슷한 일이 될 것이다.
