글 수 104

SKT가 공개한 한글 GPT2 - KoGPT2

조회 수 258 추천 수 0 2020.02.02 16:39:10


 

https://github.com/SKT-AI/KoGPT2

 

 

 

SKT에서 한글 GPT2인 KoGPT2를 공개했습니다. GPT2는 117M, 345M, 762M, 1542M의 4종류로 되어있습니다. KoGPT2는 가장 작은 사이즈인 117M(12 layers)로 구성되어 있습니다. 또한 GPT2보다 절반 정도의 크기인 20GB의 텍스트로 학습을 하였습니다. 아래 사이트에서 테스트도 가능하니 참고하시기 바랍니다.

 

GPT2 한글 버전이 공유된 건 아마 처음인 것 같습니다. 이전에 나온 KoBERT도 그렇고, SKT가 국내 딥러닝 활성화를 위해 많은 기여를 하고 있습니다. 앞으로 더 높은 파라미터의 모델도 나오기를 기대해봅니다.

 

 

 

< KoGPT-2 Explorer >
-> http://52.231.69.211:8000/

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 93
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 258
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 313
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 179
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 228
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 121
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 412
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 170
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 257
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 422
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 241
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 288
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 635
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 521
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 204