지난 매거진을 삭제하며 ZeliAI 매거진에 통합합니다.
크롬 브라우저는 구글에서 만들었다. 그래서 모든 구글 서비스는 크롬 주소창에 입력하면 쉽게 찾아갈 수 있다.
@gemini 입력하면 구글이 만든 챗봇에 바로 질문할 수 있는 것과 달리 코랩에 들어가고 싶으면 코랩, 혹은 구글 코랩이라고 치면 된다. 예전에는 즐겨 찾기나 시작 페이지를 쓰고, https://naver.how/ai처럼 모아두는 사이트를 만들었는데,
진짜 편한 것은 이름 정도는 기억하고 이름을 직접 입력하는 것이겠다.
구글 코랩 관련한 설명은 자랑스러운 한국인(?, 조금 보다 보면)이 설명을 하는 파트가 나온다.
글에서 보다 인공지능에 대해 친근하게 설명하려고 챗봇이라는 용어를 썼다. 그러나 자칫하면 이 분야에 종사하는 사람들의 노고를 폄하하는 용어가 될 수도 있기에 이제는 LLM, LLM 파운데이션 모델, LLM 서비스, LLM 파생 서비스 등 을 총칭하여 LLM이라고 한다. 물론, 나중에 할아버지 할머니께 설명할 때는 챗봇이라고 하면 된다. 카톡으로 대화하는데 상대는 사람이 아니라 컴퓨터라고 해도 되고. 그러나 앞으로 오는 알파세대에는 LLM 이 더 친숙한 단어가 될 것이다.
LLM을 포괄하는 단어는 인공지능 이겠다. 인공지능은 실제 기업에서 비용 절감에 도움이 되기에 제대로 유행을 탔다.
AI 도입 사례를 colab으로 만들었다.
https://colab.research.google.com/drive/1vtWQTjjvM5x2RfmanedZ5F0cxrYgn4Gg?usp=sharing
코랩을 사용해 보지 않은 분은 그냥 하나식 플레이해 가며, 코랩이 뭔지 알아보길 바란다.
난 White paper 타입을 좋아한다. 초안, 투명, 중립 등의 의미가 있다. 프롬프트 입력할 때도 white paper 형식은 마법의 프롬프트다. 인공지능 쪽으로 아직 넘어오지 않은 개발자들은 어서 빨리 넘어오길 바란다. 실로 API만 당겨 쓰면 되는 곳 천국 + 대부분 LLM(챗봇)으로 만들어졌기 때문에 인공지능이 가장 잘하는 분야가 바로 frontend와 python이다. 그래도 기초 문법은 항상 해야 하니, 위한 Cos Pro 파이썬 정도는 따라는 당부를 남겨둔다. python master 가 이름이 좋았는데 어느 무지하고 불만만 많은 블로거가 국내 라이선스 섹터를 죽여버렸다. 그리고 정작 본인은 강의도 안 한다. 그만한 실력도 깜냥도 안 되는 것이겠는데, 적어도 어느 정도 수준이 예상될 정도라면 너무 무리한 요구는 안 했으면 한다. 내가 한국 정부나 사법부에 나만큼의 IT 지식을 요구하지 않듯이 말이다. 각자 잘하는 분야가 있고 잘 소통하면 그만이고, 내가 분노하는 포인트는 제대로 된 음식을 단 한 번도 만들어 보지 않고, 항상 설 익고 덜 만들어진 음식을 내어 놓는 SNS 키보드 워리어다. 그래서 말하지만, 코랩을 모르면 계속 물어보고 내부까지 제대로 알아서 또 내가 까먹었을 때 물어볼 수 있는 자유로운 질문 분위기가 되었으면 한다. 나 역시 수많은 실패의 기록도 함께 적지 않는가? 한국은 그래야 한다. 평가 위치도 아니면서, 어줍이들이 어설프게 평가하는 글에 일일이 격파 댓글을 쓰고는 있으나 답답해서 또 써 둔다. 초등학생에게도 물어볼 수 있는 굳건한 자존감과 모든 방향을 고려할 수 있는 지독한 지성만이 대한민국의 미래가 될 것이기에. 참고로 코랩은 국내 코딩 플랫폼을 모두 격파해 버렸다. 타깃 시장과 비즈니스 모델이 완전히 다른데도 격파가 가능한 이유는 LLM 때문이라고 해 두겠다. 그럼에도 상장을 한다면 정말 박수를 쳐 줘야 할 일이다. 올해 내가 관심 있게 보는 부분도 프로그래머의 상장 여부다. 투자자는 어떻게든 투자금도 회수하고 폭탄이던 뭐던 개미에게 던져야 하니... :) 미래를 본다는 것은 그만큼 중요하다. 내가 이 시점에 구글 코랩 서비스 이야기를 푸는 것도 같은 맥락이다. 지금이라도 미래를 봐야지. 참고로 코랩은 주피터로 만들 수 있다. 그러나 아마 구글은 코랩은 학교에 그냥 뿌리지 않을까 한다. 내가 한국 정부라면 주피터로 어떻게든 대응해 보려고 하겠지만. 정말 유저나 학생을 위해서 뭘 만들고 싶은 사람을 구할 수 있을지가 의문이라. 그냥 코랩 이야기를 한다.
위 코랩에서 결과가 제대로 안 나오는 부분은 모델을 더 큰 것으로 바꾸면 된다. 그리고 한글은 잘 안되어서 영어로 하면 된다. 인공지능에서 왜 하드웨어 성능이 중요한지. 그리고 NVIDIA가 만든 CUDA 생태계가 중요한지 잘 알 수 있다. 한국의 수 많은 인공지능 엔지니어들이 각고의 노력을 하고 있다(정말 그렇겠지?)
2025-08-17 20:26:37.733168: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
2025-08-17 20:26:37.748884: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:467] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered
WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
E0000 00:00:1755429997.766409 171722 cuda_dnn.cc:8579] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered
E0000 00:00:1755429997.771598 171722 cuda_blas.cc:1407] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
W0000 00:00:1755429997.785814 171722 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
W0000 00:00:1755429997.785835 171722 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
W0000 00:00:1755429997.785837 171722 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
W0000 00:00:1755429997.785842 171722 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.
2025-08-17 20:26:37.789999: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.
To enable the following instructions: AVX2 AVX512F AVX512_VNNI AVX512_BF16 AVX512_FP16 AVX_VNNI AMX_TILE AMX_INT8 AMX_BF16 FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.
Using device: cuda
GPU: NVIDIA H100 80GB HBM3
CUDA Version: 12.6
Available GPU memory: 85.0 GB
Loading model: google/flan-t5-xxl
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████| 5/5 [00:10<00:00, 2.08s/it]
Device set to use cuda:0
Testing Korean prompt...
==================================================
Korean response:
==================================================
Testing English prompt...
==================================================
English response: The first step is to identify abnormal foreign currency transfer transactions. The second step is to create internal control reports. The third step is to automatically identify abnormal foreign currency transfer transactions and create internal control reports.
==================================================