GUAVA의 왕초보를 위한
AI 기초개념 - 4
Transformer, 식당으로 이해하는 AI의 혁신
원래 RAG에 대해서 이야기를 하려고 했는데, 문득 트랜스포머에 대해서 이야기를 하지 않고 넘어간 것이 생각이 나서 오늘 이야기를 해봅니다.
"아, 트랜스포머요? 그걸 발명해서 LLM이 생겼다던데..."
지난 1년간 AI 관련해서 항상 듣던 이야기입니다. 모두들 트랜스포머가 얼마나 대단한지, 얼마나 혁신적인지 이야기하는데... 구글 연구진이 개발한 이 모델로 현재의 Gen-AI들을 쓸 수 있었다는데 기술적인 것을 아무리 설명해 줘도, 당시 왕초보인 저는 솔직히 이해가 잘 안 됐어요.
그래서 오늘은 제가 가장 좋아하는 '식당'으로 비유해서 설명해보려고 합니다.
맛있는 이야기와 함께라면 어려운 개념도 조금은 수월해지지 않을까요?
옛날 식당 vs 스마트 식당
옛날 식당을 생각해 보세요. 주문은 순서대로만 받고, 테이블끼리는 서로 무관심하고, 주방과 홀은 소통이 제한적이었죠. AI도 트랜스포머가 등장하기 전에는 이런 식당 같았어요.
하지만 트랜스포머는 완전히 다른 식당을 보여줬습니다. 마치 미슐랭 스타 레스토랑처럼요. 모든 주문을 한눈에 파악하고, 테이블 간의 연관성을 고려하며, 전 직원이 실시간으로 소통하는 그런 식당이죠.
똑똑한 주방장의 비밀: Self-Attention
"스테이크 2개, 파스타 1개, 샐러드 3개" 주문이 들어오면 어떻게 될까요?
우리의 똑똑한 주방장은 이렇게 생각합니다:
"스테이크가 있으니 그릴부터 예열해야겠다"
"파스타면 삶는 물도 준비해야지"
"샐러드가 가장 빨리 나가야 하니 먼저 시작하고..."
이게 바로 트랜스포머의 'Self-Attention(자기 주의력)'입니다. 마치 숙련된 주방장처럼 모든 상황을 종합적으로 파악하고 가장 효율적인 방법을 찾아내는 거죠.
여러 개의 모니터로 보는 주방: Multi-Head Attention
우리 주방장 앞에는 세 개의 모니터가 있습니다.
첫 번째 모니터는 조리 시간을 체크하고
두 번째 모니터는 식재료 상태를 확인하며
세 번째 모니터는 테이블 상황을 보여줍니다.
한 사람이 동시에 여러 가지를 챙기는 것처럼, 트랜스포머도 여러 관점에서 동시에 정보를 처리합니다.
주방의 비밀 레시피: 토큰화와 임베딩
주문이 들어왔을 때, 우리 주방은 어떻게 정보를 처리할까요?
"안녕하세요, 스테이크 미디엄으로 하나 부탁드립니다!"
[토큰화]
이 주문을 받으면, 먼저 주문전표에 키워드를 뽑아 적습니다.
메뉴: 스테이크
굽기: 미디엄
수량: 1
[임베딩]
그리고 각 정보를 주방이 이해할 수 있는 숫자로 변환합니다.
굽기 정도: 6/10 (미디엄)
예상 조리시간: 15분
우선순위: 8/10
주방의 두 영웅: 인코더와 디코더
우리 주방에는 특별한 두 명의 셰프가 있습니다.
첫 번째 셰프는 '인코더'입니다:
주문을 받아서 완벽하게 이해하는 전문가예요
"스테이크 미디엄"이라는 주문을 받으면
고기의 두께, 굽는 시간, 온도 등을 계산해서
주방이 이해할 수 있는 정보로 변환합니다
두 번째 셰프는 '디코더'입니다:
인코더가 해석한 정보를 받아서
실제 요리를 만들어내는 전문가예요
완벽한 타이밍에 맞춰 스테이크를 굽고
"스테이크 완성되었습니다!"라고 알려주죠
이 두 셰프의 환상적인 협동 덕분에:
복잡한 주문도 정확하게 처리되고
여러 테이블의 주문이 완벽한 타이밍에 나가고
고객의 특별한 요청도 섬세하게 반영됩니다
옛날에는 주방장 한 명이 모든 일을 했다면, 트랜스포머는 이렇게 전문가들이 협력하는 시스템을 만들어냈어요. 마치 미슐랭 스타 레스토랑의 체계적인 주방처럼요!
트랜스포머가 바꾼 세상
예전에는 AI가 "배고파요"라는 말에 "밥을 드세요"라고만 답했다면, 이제는: "점심 식사하실 시간이네요!" "근처 맛집을 추천해 드릴까요?" "어떤 종류의 음식을 선호하시나요?" 이렇게 자연스러운 대화가 가능해졌습니다.
트랜스포머는 정말 대단한 혁신이에요. 하지만 결국 이것도 하나의 도구일 뿐입니다. 맛있는 요리가 주방 기구 덕분이 아니라 요리사의 솜씨 덕분인 것처럼, AI도 결국 이를 현명하게 활용하는 우리의 지혜가 가장 중요하지 않을까요?
다음에는 원래 하려고 했던 'RAG'에 대해 알아보겠습니다. 도서관 사서가 책을 찾아주는 것과 비슷한 이 개념, 어떻게 하면 더 쉽게 이해할 수 있을지 고민해 보겠습니다.
너무 쉽다고요? 네, 알고 있습니다. 하지만 작년의 저처럼, 이런 설명이 필요한 분들이 분명 계실 거예요. 한 분이라도 도움이 된다면, 계속 이야기해 보겠습니다!
To Be Continue......
- Total HR / 사파 감성 HR & 나만의 AI를 찾고 있는 구아바 -
