레플리
글 수 126


186412068_1.jpg

 

http://www.yes24.com/24/goods/60890714?scode=032&OzSrank=1

 

 

 

강화학습을 사용해서 주식투자를 시뮬레이션하는 방법을 다룬 책입니다. 먼저 입력에 필요한 특징값을 선택합니다. 주가와 거래량을 기준으로 5, 10, 20일 등 평균값으로 추세를 파악할 수 있도록 합니다. 여기서는 모두 17개의 특징값을 사용했습니다.

 

증권사 HTS로 일년치 정보를 받아와서 특징값을 추출하고 형식에 맡게 데이터를 생성합니다. 그리고 입력값을 신경망 모델에 넣으면 매수/매매/홀드 등 3가지의 행동이 나옵니다. 수익이나 손해가 일정 %이상이 되면 보상이나 벌칙을 받는데, 그 이전까지 했던 행동들에 대해서 리워드를 감소시키면서 학습을 시킵니다.

 

예를 들어, 마지막 보상을 받은 이후로 10일 동안 2%의 수익을 얻었다면, 그 10일 동안 행동에 대해서 보상값 1을 할인율(discount factor) 만큼 곱하여 리워드를 설정합니다.

 

10일 - 1
9일 - 1 * 0.9
8일 - 1 * 0.9 * 0.9
...

 

 

 

강화학습의 장점은 이렇게 보상값이 전파되기 때문에 모든 행동들에 대해서 리워드를 줄 필요가 없다는 것입니다. 만약 일반적인 지도학습을 사용했다면 각 입력에 대해서 매수/매매/홀드의 행동을 지정해주어야 하는데 이런 데이터를 만들기가 쉽지 않습니다.

 

이 책에서 사용한 강화학습 방법은 policy gradient입니다. 가장 대표적인 강화학습인 q-learning 기반의 DQN(Deep Q-Networks)은 어떤 행동이 가장 좋은지 수치값을 학습합니다. 이에 반해서 policy gradient는 value가 아니라 확률을 사용한다는 차이점이 있습니다.

List of Articles
제목 글쓴이 날짜 조회 수sort
수학 없이 배우는 데이터 과학과 알고리즘 file 깊은바다 2019-01-10 71259
밑바닥부터 시작하는 딥러닝 file [3] 깊은바다 2018-05-01 1308
인공지능을 만드는 법 - 게임 AI file [2] 깊은바다 2017-12-03 998
머신러닝 실무 프로젝트 file 깊은바다 2019-10-18 919
처음 배우는 데이터 과학 file 깊은바다 2018-07-02 919
PyTorch를 활용한 강화학습/심층강화학습 실전 입문 file 깊은바다 2019-03-17 809
매출 올리는 데이터 사이언티스트 file Dfinite 2022-07-31 795
인공지능을 위한 수학 file 깊은바다 2019-07-29 766
집단지성 프로그래밍 file 깊은바다 2017-08-29 685
파이썬과 자연어처리 file 깊은바다 2018-01-03 650
EBS 수학과 함께하는 AI 기초 file 깊은바다 2020-09-15 636
텐서플로와 머신러닝으로 시작하는 자연어 처리 file 깊은바다 2019-02-28 627
처음 배우는 딥러닝 수학 file 깊은바다 2018-09-25 603
AI 메이커스, 인공지능 전쟁의 최전선 file 깊은바다 2022-06-04 594
파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자 file 깊은바다 2018-07-13 593