글 수 78


186412068_1.jpg

 

http://www.yes24.com/24/goods/60890714?scode=032&OzSrank=1

 

 

 

강화학습을 사용해서 주식투자를 시뮬레이션하는 방법을 다룬 책입니다. 먼저 입력에 필요한 특징값을 선택합니다. 주가와 거래량을 기준으로 5, 10, 20일 등 평균값으로 추세를 파악할 수 있도록 합니다. 여기서는 모두 17개의 특징값을 사용했습니다.

 

증권사 HTS로 일년치 정보를 받아와서 특징값을 추출하고 형식에 맡게 데이터를 생성합니다. 그리고 입력값을 신경망 모델에 넣으면 매수/매매/홀드 등 3가지의 행동이 나옵니다. 수익이나 손해가 일정 %이상이 되면 보상이나 벌칙을 받는데, 그 이전까지 했던 행동들에 대해서 리워드를 감소시키면서 학습을 시킵니다.

 

예를 들어, 마지막 보상을 받은 이후로 10일 동안 2%의 수익을 얻었다면, 그 10일 동안 행동에 대해서 보상값 1을 할인율(discount factor) 만큼 곱하여 리워드를 설정합니다.

 

10일 - 1
9일 - 1 * 0.9
8일 - 1 * 0.9 * 0.9
...

 

 

 

강화학습의 장점은 이렇게 보상값이 전파되기 때문에 모든 행동들에 대해서 리워드를 줄 필요가 없다는 것입니다. 만약 일반적인 지도학습을 사용했다면 각 입력에 대해서 매수/매매/홀드의 행동을 지정해주어야 하는데 이런 데이터를 만들기가 쉽지 않습니다.

 

이 책에서 사용한 강화학습 방법은 policy gradient입니다. 가장 대표적인 강화학습인 q-learning 기반의 DQN(Deep Q-Networks)은 어떤 행동이 가장 좋은지 수치값을 학습합니다. 이에 반해서 policy gradient는 value가 아니라 확률을 사용한다는 차이점이 있습니다.

List of Articles
제목 글쓴이 날짜 조회 수
리얼월드 머신러닝 file 깊은바다 2018-10-20 21
파이썬 자연어 처리의 이론과 실제 file 깊은바다 2018-10-09 92
의료 인공지능 file 깊은바다 2018-10-08 52
처음 배우는 딥러닝 수학 file 깊은바다 2018-09-25 124
이것이 우리에게 딱 맞는 딥러닝 with 텐서플로 file 깊은바다 2018-09-15 98
커넥톰, 뇌의 지도 file 깊은바다 2018-09-11 70
마이크로소프트 봇 프레임워크 프로그래밍 file 깊은바다 2018-09-03 92
트랜스휴머니즘 file 깊은바다 2018-08-22 53
아무것도 모르고 시작하는 인공지능 첫걸음 file 깊은바다 2018-08-16 125
스마트한 인공지능 챗봇 개발 file 깊은바다 2018-08-13 89
파이썬과 케라스를 이용한 딥러닝/강화학습 주식투자 file 깊은바다 2018-07-13 188
누구나 쉽게 배우는 챗봇 서비스 file [1] 깊은바다 2018-07-10 163
한 권으로 정리하는 4차산업혁명 file 깊은바다 2018-07-06 105
처음 배우는 데이터 과학 file 깊은바다 2018-07-02 324
R을 이용한 텍스트 마이닝 file 깊은바다 2018-06-28 108