글 수 27

텐센트의 스타크래프트2 인공지능 - TStarBot

조회 수 690 추천 수 0 2018.09.21 20:42:20


K-001.png

 

https://arxiv.org/pdf/1809.07193.pdf

 

 

 

중국 텐센트에서 지난달 발표한 논문인데 스타크래프트2를 강화학습으로 학습하는 방법입니다. 최근 OpenAI에서 DOTA2의 인공지능을 프로게이머 수준으로 구현하기도 했습니다. 하지만 자원채취나 유닛/건물 생산이 없고 최대 5개의 영웅만 컨트롤하기 때문에 스타2에 비해서 상대적으로 학습이 쉬운 편입니다.

 

 

 

텐센트가 사용한 방법은 우선 액션을 잘게 나누고 각 액션은 사람이 코딩하여 구현합니다. 그리고 현재 상태에 따라 어떤 액션을 수행할지는 강화학습으로 학습합니다.

 

예를 들어, '해처리 빌드'라는 액션은 '카메라 이동->드론 선택->장소 선택->해처리 빌드'의 세부 명령으로 나뉘어집니다. 이런 하위 레벨까지 강화학습으로 처리한다면 상태공간이 너무 커져서 학습이 매우 어렵습니다. 그래서 상위 레벨로 액션들을 묶어서 학습 속도를 빠르게 하였습니다. 앞으로 하드코딩된 액션도 별도의 강화학습 모듈로 구현할 예정이라고 합니다.

 

 

 

현재 게임에 포함되어 있는 인공지능을 이길 수 있지만 아직 사람과 상대할 수준은 아닙니다. 알파고로 바둑을 정복한 딥마인드 역시 스타2 인공지능에 매진하고 있습니다. 과연 누가 먼저 프로게이머와의 대결에서 승리할 수 있을지 기대가 됩니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
딥마인드의 알파스타가 프로게이머와의 대결에서 승리 [1] 깊은바다 2019-01-25 415
데미스 하사비스의 카이스트 강연 - 아타리 게임 DQN과 알파고의 원리 깊은바다 2019-07-24 427
강화학습의 개요 깊은바다 2018-05-28 481
강화학습 기반의 지능적인 가상캐릭터 file 깊은바다 2016-03-24 489
딥러닝 강화학습으로 둠 게임 구현 깊은바다 2017-02-28 562
강화학습 블로그 - 숨니의 무작정 따라하기 깊은바다 2019-07-21 569
텐센트의 스타크래프트2 인공지능 - TStarBot file 깊은바다 2018-09-21 690
알파고를 탄생시킨 강화학습의 비밀 깊은바다 2017-06-25 704
OpenAI의 멀티 에이전트 강화학습 환경 - Neural MMO 깊은바다 2019-03-06 712
딥마인드의 모방을 통한 게임 학습 깊은바다 2018-06-01 761
딥마인드의 게임을 학습하는 딥러닝 인공지능 깊은바다 2016-03-21 811
스타크래프트2 강화학습 깊은바다 2017-10-14 926
웹브라우저에서 자율주행차 강화학습 프로젝트 [2] 깊은바다 2018-06-21 960
알아두면 쓸데있는 신기한 강화학습 깊은바다 2017-08-24 986
강화학습과 DQN 소개 깊은바다 2017-10-05 1163