[독서노트] 단단한 심층 강화 학습

로라 그레서, 와 룬 켕 저 / 김성우 역 | 제이펍 | 2022년 2월

서평 및 발제

작년 박사과정 수업 중 AI 비전과 머신러닝/딥러닝 수업을 들으면서 IT에 대한 아주 기초적인 내용부터 실무적인 내용까지 수록된 책이 하나 없나 찾아보았던 기억이 난다. 그때는 기초를 잡기 위해 k-mook 과정과 유튜브를 찾아서 수업과 병행하곤 했다.

이 분야의 전문가가 아닌 사람으로서 기본 개념부터 중고급 과정까지 잘 정리된 책을 만나게 되었다.  이런 책을 작년에 출판이 되었으면 어렵지 않게 딥러닝 인공지능을 배울 수 있었겠다. 책의 서평에서 이야기 하듯이 학부 컴튜터 전공생 및 소프트웨어 엔지니어들이 개념/실습/정리 모든것이 잘 정리되어있다.

여기서 한빛미디어의 혼공 시리즈와 비교가 할 수 밖에 없지만, 둘의 차이가 있다. 혼공 시리즈는 내용을 정말 재밌게 그리고 가장 기본이 되는 개념을 위주로 실습을 진행하고, 코딩을 하게 해주기 때문에 기본 개념에 아주 충실한 반면, 제이펍의 단단한 책은 개념 뿐 아니라 심층 해설과 정리가 잘 되어있다.

차례

CHAPTER 01 강화학습 소개 

PART I 정책 기반 알고리즘과 가치 기반 알고리즘

CHAPTER 02 REINFORCE 

CHAPTER 03 살사(SARSA) 

CHAPTER 04 심층 Q 네트워크(DQN)

CHAPTER 05 향상된 DQN 

PART II 결합된 방법

CHAPTER 06 어드밴티지 행동자-비평자(A2C) 

CHAPTER 07 근위 정책 최적화(PPO) 

CHAPTER 병렬화 방법

CHAPTER 09 알고리즘 요약 

PART III 실전을 위한 세부사항

CHAPTER 10 심층강화학습으로 작업하기 

CHAPTER 11 SLM Lab 

CHAPTER 12 네트워크 아키텍처CHAPTER 12 네트워크 아키텍처

CHAPTER 13 하드웨어

CHAPTER 14 상태

CHAPTER 15 행동

CHAPTER 16 보상

CHAPTER 17 전이 함

글상자의 내용은 정말 구체적이다. 책읜 본론 내용중에서 심층 해설이 필요한 것은 별도로 박스를 만들어서 아래와 같이 상세하게 설명을 해주는 디테일이 심겨져 있다. 

심층 강화학습에 들어가는 알고리즘에 대한 모든 부분을 일목요연하게 도표를 만들어서 요약까지 되어 있어서 책의 본론 내용에 대해 간추려 이해할 수 있다. 

이 책의 장점 중 다른 하나는 책의 모든 구석구석 표가 잘 만들어져 있다는 것이다. 업무 특성상 구글 시트나 엑셀을 통해 정리를 하는 경우가 많은데, 보기에는 쉬워도 만드는 사람의 입장에서는 표 하나가 나오기까지 얼마나 많이 수정을 하면서 정리를 했는지 작가와 편집자의 노력을 볼 수 있다.

알고리즘 성능을 비교하기 위해서 다수 시험과 이평선을 통해 비교핸 결과이다.

인공 신경망에 대해서 MLP, CNN, RNN, CNN-RNN 에 대해서 참 보기 좋게 도면을 만들어준 내용이다. 기획과 발표 자료를 많이 만들기 때문에 이렇게 도면을 정리해서 만드는 것은 표로 정리하는 것보다 더욱 고난이도의 작업니다. 아직 직접적으로 CNN, RNN 등을 해보지 않았지만, 이번 학기 수업을 들을때 해볼 내용이라 세심히 보게 되었다.

책이 마지막 부분에 딥러닝의 역사?를 텍스트 방식으로만 배열한것도 나름 심플했다.

---

이 책은 출판사의 소중한 의뢰를 통해 작성한 리뷰입니다.