레플리
글 수 126


207899943.jpg

 

http://www.yes24.com/Product/Goods/67439369

 

 

 

최근에 나온 딥러닝 강화학습 책입니다.

 

원래 '파이썬과 케라스로 배우는 강화학습'이라는 강아지 표지의 책이 유명한데요. 강화학습의 기반이 되는 MDP(Markov Decision Process)와 벨만 방정식, 다이나믹 프로그래밍에 대해서 자세히 나와있기도 합니다. 다만 수식이 너무 많고 전문적인 내용이라 초보자들이 이해하기가 어렵습니다. 또 저자가 5명이라 그런지 전체적으로 통일감이 좀 떨어진다는 단점도 있습니다.

 

반면에 이 책은 핵심적인 학습 공식을 제외하고는 수식이 거의 없습니다. 대신 코드 레벨로 직접 테스트하고 보여주는데 초점을 맞추고 있습니다. 특히 미로찾기 예제를 통해 정책 경사(Policy Gradient)와 가치 반복(Value Iteration)을 보여주는 2장이 가장 좋았습니다. 그 뒤의 장은 강화학습에 어떻게 딥러닝을 적용하는지 단계별로 설명하고 있습니다.

 

 

 

강화학습은 크게 정책 경사와 가치 반복으로 구분됩니다. 쉽게 말하면 정책 경사는 어떤 행동을 할지 직접 분류를 하고, 가치 반복은 각 행동에 따른 가치값을 회귀로 구해 가장 높은 수치의 행동을 결정합니다. 또한 정책 경사는 보통 보상을 받은 에피소드가 끝나고 한 번에 학습을 하지만, 가치 반복은 매 턴마다 학습이 이루어지는 차이점이 있습니다.

 

이 두 가지 방법을 동시에 사용하는 것이 A3C, A2C 같은 Actor-Critic 방식입니니다. Actor는 정책 경사처럼 직접 행동을, Critic은 가치값을 구하여 학습을 위한 오차 계산에 같이 적용합니다.

 

먼저 이 책으로 강화학습에 대한 감을 익히고 나서, 강아지 책에 나와있는 이론들을 이해하는 것도 좋을 듯 합니다.

List of Articles
제목 글쓴이 날짜 조회 수
잡아라! 텍스트 마이닝 with 파이썬 file 깊은바다 2019-07-12 437
채용담당자가 공개하는 AI면접 합격 기술 file 깊은바다 2019-07-08 461
AI 마인드 file 깊은바다 2019-07-07 493
자연어 텍스트 처리를 통한 검색 시스템 구축 file 깊은바다 2019-06-30 375
만화로 쉽게 배우는 선형대수 file 깊은바다 2019-06-29 453
21세기를 위한 21가지 제언 file 깊은바다 2019-06-23 136
수학의 아름다움 - 자연어처리 알고리즘 file 깊은바다 2019-06-04 520
로봇 설계자 신시아 브리질 file 깊은바다 2019-05-26 217
머신러닝 비즈니스 - 애저 머신러닝 스튜디오 file 깊은바다 2019-04-30 251
자연어 처리 쿡북 with 파이썬 file 깊은바다 2019-04-15 443
PyTorch를 활용한 강화학습/심층강화학습 실전 입문 file 깊은바다 2019-03-17 809
텐서플로와 머신러닝으로 시작하는 자연어 처리 file 깊은바다 2019-02-28 627
대학에 가는 AI VS 교과서를 못 읽는 아이들 file 깊은바다 2019-02-28 279
머신러닝 탐구생활 file 깊은바다 2019-01-31 401
수학 없이 배우는 데이터 과학과 알고리즘 file 깊은바다 2019-01-10 71257