GAN만 보여주는 책

[책을 읽고] 데이비드 포스터, <미술관에 GAN 딥러닝>

딥러닝 분야의 기린아, GAN(적대적 생성망)에 관해 압도적인 인지도를 가진 책이라서 기대가 컸다.

결론부터 말하면, 추천할 만한 책은 아니라고 본다. 나 같은 파(Python)알못이 보기에는 기초적인 설명이 너무 심하게 배제되어 있으며, 예제를 따라 코딩하기가 대단히 불편하게 되어 있다. 대단히 부적절하고 재미없는 비유가 자주 나오는 것도 거슬린다.

이 책에서 제일 좋았던 것은 인간 지능에 대한 저자의 관점이다. 지능이라는 것이 사실은 판별자가 아니라 생성자일 가능성이 높다는 것이다. 인공지능이 결국 인간 지능을 모방하려는 것이라면, 이것은 대단히 중요한 시점 전환을 의미한다.

현대 신경 과학 이론은 사람의 현실 인지 능력이 감각 정보로부터 경험한 것을 예측하는 복잡한 판별 모델이 아니라고 말합니다. 태어났을 때부터 미래와 정확히 맞는 주위 환경을 시뮬레이션하기 위해 훈련된 생겅 모델입니다. 심지어 어떤 이론은 우리가 현실이라고 인지하는 것이 이 생성 모델의 출력이라고 주장합니다. (29쪽)

우리는 일상 생활에서 일어나는 물리적인 현상에 절대 놀라지 않습니다. 세상이 당연한 방식으로 동작하는 것은 우리의 뇌가 이런 식으로 동작해야 한다고 세상을 결정했기 때문입니다. 이런 의미에서 우리의 뇌는 매우 복잡한 생성 모델입니다. (346쪽)

게임을 하는 것은 현재 인공지능에게 가장 도전적인 과제다. 강화학습은 보상값의 현재가치를 최대화하는 것을 목표로 진행된다. 체스 같은 게임이라면 최종 목표라는 게 분명히 존재하지만, CarRacing이나 CartPole 같은 경우에는 그런 것도 없다. 화성에 도착한 패스파인더의 경우도 마찬가지다. 결국 오래 살아남는 것, 즉 생존이 목표라 할 수 있은데, 그건 인간도 마찬가지다.

DNA의 지상과제가 결국 보존과 증식이라고 한다면, 환경이라는 돌발 변수에 적응하며 살아남는 것이 목적인 강화학습이야말로 인간 지능을 모사하려는 시도로서 인공지능의 최종 과제라고 할 수 있다. 그렇다면 인간 지능은 본질적으로 생성망일 수밖에 없을 것이다.

***** 이하 밑줄과 메모 *****

- 최신 딥러닝 구조에서는 드롭아웃 대신 배치 정규화만 사용한다. (82)

- 일반적으로 판별자가 생성자보다 강해야 하므로, 전체 모델의 학습률은 판별자 학습률보다 낮게 한다. (138)

- 모드 붕괴와 유용하지 않은 손실값이 바닐라 GAN의 문제점이다. (143-144)

- 가장 간단한 RNN조차 20번 반복(epoch) 정도로 화성과 옥타브의 개념을 이해한다. (254)

- BERT는 GloVe와 달리 동일한 단어라도 문맥에 따라 다른 값을 할당한다. (331)