레플리
글 수 126

기초부터 시작하는 강화학습/신경망 알고리즘

조회 수 527 추천 수 0 2020.10.18 14:10:24


800.jpg

 

http://www.yes24.com/Product/Goods/82590018

 

< 목차 >

- 1. 인공지능이란?

- 2. 강화학습

- 3. 인공신경망

- 4. 인공지능 만들기: 틱택토 게임

 

 

 

강화학습은 딥러닝 중에서도 난이도가 높은 분야입니다. Q-Learning만 따로 공부하면 그나마 쉬운 편입니다. 하지만 그 기초가 되는 이론들은 수식도 많고 상당히 복잡한 편입니다. 이 책은 강화학습의 시작부터 딥러닝을 도입한 DQN까지 매우 자세히 다루고 있습니다. 각 주제마다 예제 코드로 직접 구현해보기 때문에 이해하기가 훨씬 수월했습니다.

 

강화학습은 MDP(Markov Decision Process)에서 시작했습니다. 특정 상태에서 어떤 행동을 결정해야 하는지 확률적으로 정리한 이론입니다. 이를 계산하기 위해 벨만 방정식이 생겼습니다. 모든 상태마다 상태가치 V 또는 행동가치 Q를 구하여 가장 높은 가치의 행동을 선택합니다. 하지만 각 행동을 했을 때의 확률을 알고 있어야 하고, 계산 시간이 너무 오래 걸린다는 문제가 있었습니다.

 

확률을 몰라도 MDP를 풀 수 있는 방법이 2가지가 있습니다. 첫째는 몬테카를로 기법입니다. 랜덤하게 상태를 골라서 에피소드가 끝날 때까지 돌려보고 그 보상값을 기록합니다. 둘째는 시간차 학습(Temporal Difference)입니다. 현재 상태와 액션을 수행한 후 다음 상태의 가치값을 구합니다. 그 차이를 통해 조금씩 최적의 행동을 학습합니다. Q-Learning은 TD의 대표적인 방법입니다.

 

책의 뒷 부분은 신경망을 다루고 있는데, 다른 교재에 비해서 조금 설명이 어려운 편입니다. 차라리 신경망 부분을 빼고 강화학습의 최신 이론들을 추가했으면 더 좋았을 것 같습니다. 그래도 강화학습의 전체적인 개념을 잡는데 도움이 될거라 생각합니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
수학 없이 배우는 데이터 과학과 알고리즘 file 깊은바다 2019-01-10 71259
밑바닥부터 시작하는 딥러닝 file [3] 깊은바다 2018-05-01 1308
인공지능을 만드는 법 - 게임 AI file [2] 깊은바다 2017-12-03 998
머신러닝 실무 프로젝트 file 깊은바다 2019-10-18 919
처음 배우는 데이터 과학 file 깊은바다 2018-07-02 919
PyTorch를 활용한 강화학습/심층강화학습 실전 입문 file 깊은바다 2019-03-17 809
매출 올리는 데이터 사이언티스트 file Dfinite 2022-07-31 795
인공지능을 위한 수학 file 깊은바다 2019-07-29 766
집단지성 프로그래밍 file 깊은바다 2017-08-29 685
파이썬과 자연어처리 file 깊은바다 2018-01-03 650
EBS 수학과 함께하는 AI 기초 file 깊은바다 2020-09-15 636
텐서플로와 머신러닝으로 시작하는 자연어 처리 file 깊은바다 2019-02-28 627
처음 배우는 딥러닝 수학 file 깊은바다 2018-09-25 603
AI 메이커스, 인공지능 전쟁의 최전선 file 깊은바다 2022-06-04 594
파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자 file 깊은바다 2018-07-13 593