http://www.yes24.com/Product/Goods/67439369

최근에 나온 딥러닝 강화학습 책입니다.

원래 '파이썬과 케라스로 배우는 강화학습'이라는 강아지 표지의 책이 유명한데요. 강화학습의 기반이 되는 MDP(Markov Decision Process)와 벨만 방정식, 다이나믹 프로그래밍에 대해서 자세히 나와있기도 합니다. 다만 수식이 너무 많고 전문적인 내용이라 초보자들이 이해하기가 어렵습니다. 또 저자가 5명이라 그런지 전체적으로 통일감이 좀 떨어진다는 단점도 있습니다.

반면에 이 책은 핵심적인 학습 공식을 제외하고는 수식이 거의 없습니다. 대신 코드 레벨로 직접 테스트하고 보여주는데 초점을 맞추고 있습니다. 특히 미로찾기 예제를 통해 정책 경사(Policy Gradient)와 가치 반복(Value Iteration)을 보여주는 2장이 가장 좋았습니다. 그 뒤의 장은 강화학습에 어떻게 딥러닝을 적용하는지 단계별로 설명하고 있습니다.

강화학습은 크게 정책 경사와 가치 반복으로 구분됩니다. 쉽게 말하면 정책 경사는 어떤 행동을 할지 직접 분류를 하고, 가치 반복은 각 행동에 따른 가치값을 회귀로 구해 가장 높은 수치의 행동을 결정합니다. 또한 정책 경사는 보통 보상을 받은 에피소드가 끝나고 한 번에 학습을 하지만, 가치 반복은 매 턴마다 학습이 이루어지는 차이점이 있습니다.

이 두 가지 방법을 동시에 사용하는 것이 A3C, A2C 같은 Actor-Critic 방식입니니다. Actor는 정책 경사처럼 직접 행동을, Critic은 가치값을 구하여 학습을 위한 오차 계산에 같이 적용합니다.

먼저 이 책으로 강화학습에 대한 감을 익히고 나서, 강아지 책에 나와있는 이론들을 이해하는 것도 좋을 듯 합니다.