여운

즐거운 일은 마지막 방울까지 착즙을

여운 — Sun, 18 Jan 2026 00:45:22 GMT

대부분의 AI 학습 데이터는 매우 불균형하다. 특히 입력된 이미지나 텍스트를 특정 카테고리 중 하나로 나누는 분류 과제를 학습할 때 그렇다. 카테고리가 2개든 5개든, 소수의 카테고리에만 대부분의 데이터가 몰려있는 식이다. 한창 국민청원 사이트가 활발했을 때, 어떤 글이 10만 명의 동의를 받아 청원 성립할 수 있는지 예측하는 AI를 학습해보려고 했다. 하

영어 울렁증과 튜링테스트

여운 — Fri, 15 Aug 2025 14:12:12 GMT

내가 토종 한국인으로서 영어를 하면, '튜링테스트(Turing Test)'에 통과해야 하는 AI가 된 기분이다. 튜링테스트는 대화 상대를 가려놓고, 그 상대가 사람인지 AI인지 구분할 수 있는지 확인하는 테스트다. 한국인도 영어를 할 때마다 자신이 영어 원어민이 아닌 걸 들킬까 하는 두려움에 빠진다. 영어 공부를 위한 유튜브 썸네일은 "절대 이렇게 말하면

AI가 서바이벌 프로그램에 나간다면 - (feat. 데블스플랜 2)

여운 — Thu, 22 May 2025 06:51:08 GMT

최근에 공개된 <데블스플랜 2>는 내가 처음으로 열심히 본 두뇌 서바이벌 프로그램이다. 괴로운 마음에 차마 끝까지 보진 못했지만, 두뇌 서바이벌에 관심이 생기긴 했다. 만약 내가 만든 AI가 두뇌 서바이벌 프로그램에 참여한다면, 모델을 어떻게 설계해야 할까? 연합 만들기 단계부터 심히 걱정되지만, 그 문제는 차치하고 '목적 함수(objective funct

가까운 반대

여운 — Thu, 09 Jan 2025 14:35:57 GMT

정반대는 생각보다 가까운 사이다. 의미론에서 '반의 관계'는 다른 모든 의미 자질이 같고, 딱 하나의 의미 자질만 다른 관계로 정의된다. '여성'과 '남성'은 똑같이 생명이고 인간이고 지성체지만, 딱 한 가지, 성별이라는 의미 자질만 다르다. 차이점보다 공통점이 훨씬 많다. 반면, '여성'과 '루이보스 오렌지'는 다른 의미 자질이 너무 많다. '루이보스 오

#인스타_비교_금지

여운 — Wed, 09 Oct 2024 09:43:49 GMT

흔히 "자신과의 싸움"에서 이겨야 한다고들 한다. 남들과 경쟁하는 것처럼 보이지만, 남들이 아니라 놀고 싶은 '나', 대충 하고 싶은 '나'를 이겨야 한다고들 한다. 경험적으로 공감하는 말이지만, 논리적으로 따져봤을 때도 남들보단 자신과의 싸움에 집중하는 것이 더 현명한 듯하다. 딥러닝 논문을 읽다 보면 "Ablation Study"라는 챕터를 만나게 된

챗지피티는 사실 문장을 만들지 않는다.

여운 — Mon, 19 Aug 2024 12:24:34 GMT

ChatGPT, Claude와 같은 LLM은 사실 문장을 만들지 않는다. LLM은 LLM이 알고 있는 각 단어(토큰)가 지금까지 주어진 입력 텍스트 다음에 올 확률을 반환한다. 예를 들어 LLM이 알고 있는 단어가 [새빨간, 거짓말, 사과, 무언가, 나]밖에 없다면, LLM에 '새빨간'을 입력해 우리가 얻는 결과물은 '새빨간' 뒤에 '새빨간'이 올 확률은

인간은 오버피팅(Overfitting)이 필요해

여운 — Sat, 15 Jun 2024 12:27:07 GMT

오버피팅(Overfitting)이란 인공지능이 학습 데이터에선 매우 좋은 성능을 보이나, 학습에 사용하지 않은 검증 데이터에선 처참한 성능을 보이는 현상이다. 이는 주로 모델은 너무 복잡한데 학습 데이터는 적을 때 나타나는데, 학습 데이터의 디테일을 몽땅 외워버리느라 일반화 능력은 떨어지기 때문이다. 예를 들어, 정말 작은 디테일까지 꼼꼼히 공부하는 모범

인공지능 모델의 활성화 함수와 취미 경쟁 - 취미는 시그모이드가 아니라 소프트맥스로 즐기자

여운 — Sat, 11 May 2024 02:52:36 GMT

인공지능 모델은 대부분 마지막 레이어에 활성화 함수(Activation Fuction)를 적용하는데, 심오한 의미를 담은 커다란 벡터를 우리가 원하는 결과물 형태로 바꾸기 위함이다. 만약 한 직장인이 퇴사를 하면 좋을지 아닐지 분류하는 이진 분류(Binary Classification) 과제를 수행한다면, 활성화 함수로 시그모이드(Sigmoid) 함수를

김보영 <얼마나 닮았는가>를 읽고 남기는 조각글

여운 — Wed, 03 Apr 2024 08:56:06 GMT

# 반전과 퍼즐 조각 난 추리물을 좋아한다. 추리물의 특성상 반전이 많은데, 그 반전이 밝혀지는 순간을 좋아한다. 잃어버린 마지막 퍼즐 조각을 계속 찾아 헤매다 딱 끼우는 느낌이다. 의미를 알 수 없었던 다른 조각의 모양들도 마지막 퍼즐 조각이 나타나면 비로소 의미를 갖게 된다. 그런데 마지막 조각이 잘 들어맞지 않는 경우도 있다. 다른 조각들의 모양과 맞

멍청아. AI는 인간에 대해 아무 생각도 하지 않아. - 김보영 <얼마나 닮았는가>

여운 — Tue, 02 Apr 2024 13:54:26 GMT

※ 이 글은 스포일러를 포함하고 있습니다. AI가 등장하는 이야기는 대부분 둘 중에 하나다. 인간이 AI에 맞서 싸우거나, 인간이 AI를 사랑하거나. 그럼 AI는 어떨까? AI는 인간을 어떻게 생각할까? 김보영의 소설 <얼마나 닮았는가>에 등장하는 AI 훈이는 인간에 대해 "아무 생각도 하지 않"는다. 소설은 기억을 잃은 AI 훈이의 서술로 진행된다.

마르코프와 나이키 - Just Do It.

여운 — Sat, 30 Mar 2024 07:05:18 GMT

'언어 모델(Language Model)'은 다음에 올 단어의 확률을 예측하는 모델이다. 지금은 ChatGPT 같은 트랜스포머 기반의 LLM(Large Language Model)이 이 과제를 너무 잘해서 이들이 언어 모델의 전부인 것처럼 느껴지지만, LLM이 등장하기 한참 전부터 다양한 언어 모델이 존재했다. 가장 단순한 언어 모델이 N-gram 기반 언

ChatGPT는 어떻게 여러 개의 답변을 준비할까? - 큰 그림 그리는 디코딩 방법, Beam Search

여운 — Sun, 10 Mar 2024 13:23:23 GMT

ChatGPT는 하나의 입력(프롬프트)에 대한 답변을 여러 개 생성해 줄 수 있다. ChatGPT API에선 생성할 답변의 개수를 n으로 지정하면 된다. https://platform.openai.com/docs/api-reference/chat/create#chat-create-n 익히 들었다시피 ChatGPT는 주어진 입력을 참고하여 그다음에 올 만한

왜 ChatGPT는 따뜻할수록 더 창의적일까? - ChatGPT의 temperature 이해하기

여운 — Sat, 27 Jan 2024 04:47:09 GMT

OpenAI의 ChatGPT, 구글의 Gemini, 메타의 Llama2 등 다양한 LLM이 쏟아져 나오는 시대다. 여러 LLM을 테스트해 보면서 생성 관련 파라미터의 값도 조정해 보기 마련인데, 이 파라미터들의 의미가 무엇일까? 파라미터의 값을 조정하면 기대할 수 있는 결과는 API 문서에도 잘 정리되어 있다. ChatGPT API 문서에 따르면, tem

인공지능이 인간을 놀라게 할 때

여운 — Sat, 20 Jan 2024 10:30:17 GMT

인간은 언제 인공지능에게 놀랄까? 하나를 알려줬을 때 하나만 아는 게 아니라, 둘, 셋을 알 때 놀란다. 1. 안 알려준 규칙을 스스로 알아낼 때 아마 처음으로 놀랐을 때는 규칙 기반 모델에서 머신러닝으로 변화했을 때였을 것이다. 규칙 기반 모델은 말 그대로 주어진 규칙만 따른다. 예를 들어 'sister'를 '언니'로 번역하라는 규칙을 알려주면 규

인공지능만 믿고 공부는 안 해도 될까요?

여운 — Tue, 16 Jan 2024 11:59:06 GMT

청소년의 눈높이에서 인공지능을 소개하는 책 <인공지능만 믿고 공부는 안 해도 될까요?>를 출간하였습니다.인공지능에 관심 있지만 수식에 겁먹어 더 공부하지 못했던 어른들도 마음 편히 읽으실 수 있습니다 :) • 'ChatGPT는 다음 단어를 예측하는 모델이다'라는 설명에서 한발 더 나아가고 싶으신 분• 인공지능 모델이 똑똑해지는 원리가 궁금하신 분 • 여러

고구마는 억울하다

여운 — Sun, 24 Dec 2023 00:33:58 GMT

언젠가부터 '고구마'는 답답함의 대명사가 되었다. 드라마나 소설의 전개가 느려도 '고구마', 소심해서 할 말을 잘 못하는 사람도 '고구마'. 뭐든 답답하면 '고구마'가 되었다. 하지만 고구마는 더 다양한 특징을 지녔다. '먹으면 목이 막힌다'는 특징은 수많은 고구마의 특징들 중 하나에 불과하다. 고구마는 맛있고, 달콤하고, 부드럽고, 치즈랑 잘 어울린다.

함수로 알아보는 번역의 어려움

여운 — Sun, 01 Oct 2023 13:50:00 GMT

함수는 전사함수, 단사함수, 전단사함수로 분류할 수 있다. 이 개념을 이해하려면 먼저 함수의 정의역, 공역, 치역을 알아야 한다. 함수의 정의역은 함수가 입력으로 받을 수 있는 값의 집합이다. 아래 그림에서는 화살표를 보내는 값들의 집합, 즉 {x1, x2, x3}이다. 집합 X에 있는 요소 중 화살표를 보내지 않는 값이 있으면, 함수로 정의되지 않는다.

챗GPT의 할머니, Transformer (01) - 일단은 절반, Encoder 부분만 다룬다

여운 — Sun, 26 Mar 2023 07:31:09 GMT

요즘 엄청난 유명인인 챗GPT. 작년 11월에 공개되었는데, 모두가 챗GPT를 알게 된 건 올해 초인 것 같다. 처음 써보고 나서 정말 놀랐다. 정말 똑똑하더라.. 내 졸업논문이 "발음과 문장 구조가 반복되는 광고 문구 만들기"였는데 그걸 엄청 잘하더라????? ㅎ 챗GPT는 따로 공개된 논문이 없어 확실히 알 수 없지만, 챗GPT를 만든 OpenAI의

컴퓨터에게 단어의 의미를 가르치는 방법 - 분포가설을 실현한 word2vec

여운 — Sun, 26 Mar 2023 05:56:53 GMT

컴퓨터에게 단어의 의미를 어떻게 알려줄 수 있을까? 그전에 생각해봐야 하는 것이 '단어의 의미는 무엇인가'이다. 언어학의 힘을 빌려보면 '분포가설(Distributional Hypothesis)'라는 것이 있다. '분포가설'은 단어의 의미는 그 단어가 사용되는 문맥에 의해 결정된다고 생각한다. 따라서 비슷한 문맥에서 사용되는 단어들은 의미가 유사한 것이다.

2020 도쿄 패럴림픽 선수들의 비전 분석

여운 — Sat, 11 Mar 2023 01:24:27 GMT

올림픽위원회 홈페이지는 패럴림픽에 출전한 모든 선수들의 프로필을 제공한다. 선수들의 프로필에는 나이, 성별, 종목 등 기본적인 정보뿐만 아니라, 그들의 운동 철학(Philosophy), 목표(Ambition), 롤모델(Hero) 등의 정보도 있다. 다음은 2020 도쿄 패럴림픽에서 보치아 금메달을 따낸 최예진 선수의 프로필이다. 목표(Ambition)는 도