글 수 115


207899943.jpg

 

http://www.yes24.com/Product/Goods/67439369

 

 

 

최근에 나온 딥러닝 강화학습 책입니다.

 

원래 '파이썬과 케라스로 배우는 강화학습'이라는 강아지 표지의 책이 유명한데요. 강화학습의 기반이 되는 MDP(Markov Decision Process)와 벨만 방정식, 다이나믹 프로그래밍에 대해서 자세히 나와있기도 합니다. 다만 수식이 너무 많고 전문적인 내용이라 초보자들이 이해하기가 어렵습니다. 또 저자가 5명이라 그런지 전체적으로 통일감이 좀 떨어진다는 단점도 있습니다.

 

반면에 이 책은 핵심적인 학습 공식을 제외하고는 수식이 거의 없습니다. 대신 코드 레벨로 직접 테스트하고 보여주는데 초점을 맞추고 있습니다. 특히 미로찾기 예제를 통해 정책 경사(Policy Gradient)와 가치 반복(Value Iteration)을 보여주는 2장이 가장 좋았습니다. 그 뒤의 장은 강화학습에 어떻게 딥러닝을 적용하는지 단계별로 설명하고 있습니다.

 

 

 

강화학습은 크게 정책 경사와 가치 반복으로 구분됩니다. 쉽게 말하면 정책 경사는 어떤 행동을 할지 직접 분류를 하고, 가치 반복은 각 행동에 따른 가치값을 회귀로 구해 가장 높은 수치의 행동을 결정합니다. 또한 정책 경사는 보통 보상을 받은 에피소드가 끝나고 한 번에 학습을 하지만, 가치 반복은 매 턴마다 학습이 이루어지는 차이점이 있습니다.

 

이 두 가지 방법을 동시에 사용하는 것이 A3C, A2C 같은 Actor-Critic 방식입니니다. Actor는 정책 경사처럼 직접 행동을, Critic은 가치값을 구하여 학습을 위한 오차 계산에 같이 적용합니다.

 

먼저 이 책으로 강화학습에 대한 감을 익히고 나서, 강아지 책에 나와있는 이론들을 이해하는 것도 좋을 듯 합니다.

List of Articles
제목 글쓴이 날짜 조회 수
영어학습을 위한 인공지능 챗봇 활용 및 제작 file 깊은바다 2019-08-12 233
파이썬을 이용한 머신러닝, 딥러닝 실전 앱 개발 file [2] 깊은바다 2019-08-12 387
만화로 쉽게 배우는 회귀분석 file 깊은바다 2019-08-05 256
인공지능을 위한 수학 file 깊은바다 2019-07-29 458
잡아라! 텍스트 마이닝 with 파이썬 file 깊은바다 2019-07-12 247
채용담당자가 공개하는 AI면접 합격 기술 file 깊은바다 2019-07-08 306
AI 마인드 file 깊은바다 2019-07-07 283
자연어 텍스트 처리를 통한 검색 시스템 구축 file 깊은바다 2019-06-30 260
만화로 쉽게 배우는 선형대수 file 깊은바다 2019-06-29 239
21세기를 위한 21가지 제언 file 깊은바다 2019-06-23 96
수학의 아름다움 - 자연어처리 알고리즘 file 깊은바다 2019-06-04 324
로봇 설계자 신시아 브리질 file 깊은바다 2019-05-26 139
머신러닝 비즈니스 - 애저 머신러닝 스튜디오 file 깊은바다 2019-04-30 173
자연어 처리 쿡북 with 파이썬 file 깊은바다 2019-04-15 330
PyTorch를 활용한 강화학습/심층강화학습 실전 입문 file 깊은바다 2019-03-17 458