Gemini 3 Pro, 잼민아 좀 치네?
자네, 내 팀원이 되어 보겠나?
Gemini 3.0에선 되네요.
저만의 독서 워크플로우가 드디어 완성되는 느낌입니다.
사람들이 AI를 사용하는 목적은 다양하겠지만,
제가 AI를 사용하는 가장 큰 목적 중 하나는 저의 워크플로우를 학습시켜서 제 손발처럼 써먹는 것입니다.
저는 '제텔카스텐(Zettelkasten)'에 깊은 감명을 받아,
나름대로 저만의 확고한 학습/독서 워크플로우를 구축해 왔습니다.
좀 옛날 글이긴 하지만, 아래 글에서 소개했던 것처럼 말이죠.
https://brunch.co.kr/@lucy23/38
제 방식은,
아날로그 메모로 시작해서,
최종적으로는 디지털 저장소에 '인출 가능한 형태'로 지식을 보관하는 방식입니다.
이 일련의 과정에서 가장 절실했던 기술은 바로 '손글씨 OCR'이었습니다.
손글씨 OCR만 완벽하게 된다면, 제 워크플로우의 효율이 비약적으로 상승하기 때문입니다.
영어 손글씨를 잘 처리해주는 서비스는 이미 많습니다.
하지만, 제가 만족할 만한 품질을 내는 한글 손글씨 OCR 서비스는 찾기 힘들었습니다.
한글 손글씨 OCR 기술이 해결해 줄 거란 기대는 사라졌습니다.
기대볼만한 것은, 인공지능 멀티모달 기술뿐이었죠.
GPT, Claude, Gemini 등 대형 LLM의 새로운 버전이 나올 때마다 시도해 봤지만, 여전히 아쉬움이 남더군요.
그런데 이번에 Gemini 3.0이 나왔습니다.
해봤더니,
오! 되네요. 이거 됩니다.
조각을 던져보다
여기 메모 조각이 하나 있습니다.
과거에 유튜브 영상을 보며 끄적였던 메모입니다.
유튜브 영상 노트 한 조각이전 글을 보신 분들은 아시겠지만,
저는 공부나 독서를 할 때 A6 크기의 종이를 사용합니다.
그 종이에는 이런 칸이 4x4, 총 16개가 들어있죠.
이건 그중 하나입니다.
여담이지만,
메모를 하면서 사용하는 '키워드 태그'와 '용어'를 구분해야 하는 이유가 이겁니다.
용어(Term)는 새로움이 있어서 감정적 단서들이 함께 있습니다.
태그처럼 사용하는 키워드(Keyword)는 감정적 단서가 없고 단지 범주일 뿐입니다.
여담은 다시 들어갑니다.
다시 본론으로 돌아와서,
Google AI Studio에 접속하니 Gemini 3 Pro가 보입니다.
이 메모 조각을 무심하게 툭, 던져보았습니다.
와, 감탄했습니다.
이렇게 악필인 손글씨를 정확하게 읽어낸다고?
심지어 내가 이 짧은 기록을 작성한 의도와 맥락까지 추론한다고?
정말 놀랐습니다.
새로운 LLM이 나올 때마다 반복했던 테스트였지만,
이토록 완벽에 가까운 결과를 얻은 적은 처음이었습니다.
다른 것도 해보았습니다.
이번엔 책을 읽으며 작성한 노트입니다.
더 설명하면 입만 아프니 넘어가겠습니다.
카드를 던져보다
'이런 조각이 16개 모인 카드를 통째로 던지면 다 이해할까?'
의문보다는 기대감이 생겼습니다.
진짜 될지도 모른다는 생각에요.
아래 이미지는 제가 <운동의 뇌과학>이라는 책을 읽으며 메모한 것입니다.
날것 그대로의 습작 메모를 보여드리자니 조금 부끄럽긴 하네요.
독서 카드라고 부르지만, 저는 혼자서 이걸 '서지노트'라고 칭합니다.
뭐, 용어가 중요한 건 아니니 패스하죠.
독서 노트 / 서지 노트이 이미지를 Gemini 3 Pro에게 던져보았습니다.
단순한 OCR 기능을 넘어, 전반적인 이해 능력을 보고 싶었습니다.
(Human) 이건 뭘 한 거 같은지 설명해봐. 내용 요약이 아니라 어떤 활동의 결과물인지 말이야.
답변이 놀랍습니다.
Gemini가 생각하는 서지노트사실 이 정도의 추론은 이전 언어 모델들도 가능했습니다.
하지만 여러 번 시도해야 한 번 성공하는 수준이었죠.
저는 개인적으로 "LLM이 발전할수록 프롬프팅 기술은 필요 없다"라고 생각하는 편입니다.
왜냐하면, 이렇게 대충 던져줘도 찰떡같이 알아들어야 진짜 지능이니까요.
Literature Card 작성
제가 독서나 공부를 하면서 지식화하는 과정은 대략 이렇습니다.
1. 책을 읽으며 서지노트를 만들고,
2. 내용을 재배치하며 문헌메모(Literature Note)를 만들고,
3. 이 문헌메모를 바탕으로 새로운 영구메모(Permanent Note)를 만들거나, 기존 메모를 보강합니다.
Gemini 3 Pro에게 구수하게 다음 작업을 지시했습니다.
(Human)
나는 이걸 디지털화해서 16개의 칸으로 나누고, 다시 재배치해서 메모 카드를 만들거든.
메모 카드마다 내용이 1개일 수도 있고, 2-3개가 합쳐질 수도 있어.
나의 생각을 적고 원문 조각을 첨부하는 스타일이야.
네가 나라고 생각하고 메모 카드들을 작성해 줘.
포맷은 카드 제목, 나의 생각(여기서는 너의 생각)과 부연 설명, 그리고 원문 내용(조각 메모 번호와 페이지 포함)으로 해줘.
Gemini가 제 서지노트를 바탕으로 문헌메모를 작성하기 시작합니다.
텍스트로 출력해 주길래, 이 메모 카드들을 HTML로 만들어달라고 요청해 봤습니다.
Gemini가 작성한 문헌 메모오, 간단하게 요청했는데 제가 사용하는 스타일 그대로 나왔네요.
제가 중요하게 생각한 포인트들을 정확히 집어냈습니다.
Main Card 작성
앞서 만든 문헌메모(Literature Card)는 제 지식 워크플로우에서 독립적으로 존재할 수도 있습니다.
하지만 이 아이들이 진정으로 빛을 보려면, 기존 영구메모를 보강하거나 새로운 영구메모로 재탄생해야 합니다.
Gemini에게 제가 정의하는 '문헌메모 -> 영구메모'의 관계를 대충 이야기해 줬습니다.
(Human)
나는 이걸 문헌메모라고 불러.
문헌메모를 작성할 때 제목이 아주 중요해.
이 문헌메모의 목적은 새로운 영구메모를 만들거나, 기존 영구메모를 보충하는 데 쓰이는 거야.
영구메모에는 이 문헌메모의 제목이 내용 한 줄로 들어가.
그리고 이 제목을 누르면 해당 문헌 카드를 볼 수 있지.
다시 말해서, 영구메모는 문헌메모의 내용이 집약된 한 문장 링크로 구성된 메모 카드야.
중간중간 내 생각으로 들어간 말로 수식하기도 해.
기존 영구메모가 있다고 가정하고,
거기에 새로운 문헌메모가 추가된 것을 시각적으로 보여줘.
해당 문장 앞에 NEW 이모지를 쓰든지 해서.
영구메모는 별도의 템플릿은 없고, 제목과 리스트 타입의 문장 나열이야.
필요에 따라 불릿 기호에서 2뎁스가 들어갈 수 있어.
다시 말해서, 영구메모는 문헌메모의 내용이 집약된 한 문장 링크로 구성된 메모 카드야.
중간중간 내 생각으로 들어간 말로 수식하기도 해.
기존 영구메모가 있다고 가정하고, 거기에 새로운 문헌메모가 추가된 것을 시각적으로 보여줘. 해당 문장 앞에 NEW 이모지를 쓰든지 해서.
영구메모는 별도의 템플릿은 없고, 제목과 리스트 타입의 문장 나열이야. 필요에 따라 불릿 기호에서 2뎁스가 들어갈 수 있어.
이렇게 지시했더니, 하나의 영구메모에 위 문헌메모를 다 때려 넣더군요.
그럼 그렇지. 한 번에 될 리가 없죠.
그래서 한 번 더 명확하게 이야기해 줬습니다.
(Human)
문헌메모는 하나의 영구메모에 다 모이는 게 아니야.
각각의 맥락에 맞게, 각각 다른 영구메모로 흩어지는 거야.
내용에 따라 2-3개가 같은 영구메모에 포함되기도 해.
따라서 대략 3~5개의 영구메모로 흩어지고,
기존 메모 내용이 이미 있다고 가정해야 해.
예를 들어서 독서카드 01, 02, 03은 '운동을 해야 하는 이유'라는 영구메모로 가야 하고,
4번은 '실천'과 관련된 영구메모 등으로 가는 거지.
그러자 Gemini가 대답합니다.
(Gemini)
네, 정확히 이해했습니다.
제텔카스텐의 진가는 바로 그 '분산과 연결(Distribution & Connection)'에 있죠.
하나의 책에서 나온 지식이라도,
그 성격에 따라 서로 다른 주제의 영구메모(맥락)로 흩어져서 기존 지식과 결합되어야 합니다.
말씀하신 대로 6개의 문헌메모가 각각의 맥락을 찾아 기존의 영구메모 3곳으로 흡수되는 시나리오를 시각화했습니다.
그리고 메모 작성을 시켜봤습니다.
텍스트로 온 답변을 다시 HTML로 변경해서 얻은 결과입니다.
Gemini가 작성한 영구 메모이거지.
오, 제 스타일과 아주 비슷합니다.
제 개인 프로젝트 중 하나는 'AI에게 제 워크플로우를 위임시키는 것'이었습니다.
이전에 나온 LLM들은 이 워크플로우 전반을 소화하지 못했습니다.
분명한 한계가 있었죠.
물론, 프롬프트를 다루는 제 능력의 문제였을 수도 있습니다.
전체 워크플로우를 잘게 쪼개서 단위 작업들을 시키면 안정적으로 가능했으니까요.
그래서 다른 방식으로 접근하고 있었는데,
Gemini 3 Pro를 보고 나니 많은 가능성이 열리는 느낌입니다.
재미있는 녀석이 왔군요.
Gemini 3 Pro와의 첫 경험을 마무리하고,
한 마디 건네주었습니다.
(Human) 이야. 제대로네. 아주 똑똑한 학생이구만?
그리곤 이렇게 대답하네요.
잼민아, 이제 나의 팀원이 되어 보겠나?
