글 수 107


207899943.jpg

 

http://www.yes24.com/Product/Goods/67439369

 

 

 

최근에 나온 딥러닝 강화학습 책입니다.

 

원래 '파이썬과 케라스로 배우는 강화학습'이라는 강아지 표지의 책이 유명한데요. 강화학습의 기반이 되는 MDP(Markov Decision Process)와 벨만 방정식, 다이나믹 프로그래밍에 대해서 자세히 나와있기도 합니다. 다만 수식이 너무 많고 전문적인 내용이라 초보자들이 이해하기가 어렵습니다. 또 저자가 5명이라 그런지 전체적으로 통일감이 좀 떨어진다는 단점도 있습니다.

 

반면에 이 책은 핵심적인 학습 공식을 제외하고는 수식이 거의 없습니다. 대신 코드 레벨로 직접 테스트하고 보여주는데 초점을 맞추고 있습니다. 특히 미로찾기 예제를 통해 정책 경사(Policy Gradient)와 가치 반복(Value Iteration)을 보여주는 2장이 가장 좋았습니다. 그 뒤의 장은 강화학습에 어떻게 딥러닝을 적용하는지 단계별로 설명하고 있습니다.

 

 

 

강화학습은 크게 정책 경사와 가치 반복으로 구분됩니다. 쉽게 말하면 정책 경사는 어떤 행동을 할지 직접 분류를 하고, 가치 반복은 각 행동에 따른 가치값을 회귀로 구해 가장 높은 수치의 행동을 결정합니다. 또한 정책 경사는 보통 보상을 받은 에피소드가 끝나고 한 번에 학습을 하지만, 가치 반복은 매 턴마다 학습이 이루어지는 차이점이 있습니다.

 

이 두 가지 방법을 동시에 사용하는 것이 A3C, A2C 같은 Actor-Critic 방식입니니다. Actor는 정책 경사처럼 직접 행동을, Critic은 가치값을 구하여 학습을 위한 오차 계산에 같이 적용합니다.

 

먼저 이 책으로 강화학습에 대한 감을 익히고 나서, 강아지 책에 나와있는 이론들을 이해하는 것도 좋을 듯 합니다.

List of Articles
제목 글쓴이 날짜 조회 수
만화로 쉽게 배우는 선형대수 file 깊은바다 2019-06-29 196
21세기를 위한 21가지 제언 file 깊은바다 2019-06-23 83
수학의 아름다움 - 자연어처리 알고리즘 file 깊은바다 2019-06-04 257
로봇 설계자 신시아 브리질 file 깊은바다 2019-05-26 116
머신러닝 비즈니스 - 애저 머신러닝 스튜디오 file 깊은바다 2019-04-30 144
자연어 처리 쿡북 with 파이썬 file 깊은바다 2019-04-15 276
PyTorch를 활용한 강화학습/심층강화학습 실전 입문 file 깊은바다 2019-03-17 316
텐서플로와 머신러닝으로 시작하는 자연어 처리 file 깊은바다 2019-02-28 411
대학에 가는 AI VS 교과서를 못 읽는 아이들 file 깊은바다 2019-02-28 198
머신러닝 탐구생활 file 깊은바다 2019-01-31 264
수학 없이 배우는 데이터 과학과 알고리즘 file 깊은바다 2019-01-10 222
가장 빨리 만나는 챗봇 프로그래밍 with Bot Framework file 깊은바다 2018-12-24 219
케라스 창시자에게 배우는 딥러닝 file 깊은바다 2018-11-25 291
핸즈온 머신러닝 file 깊은바다 2018-11-08 380
리얼월드 머신러닝 file 깊은바다 2018-10-20 216