레플리
글 수 283

SKT가 공개한 한글 GPT2 - KoGPT2

조회 수 5296 추천 수 0 2020.02.02 16:39:10
깊은바다 *.68.247.186


 

https://github.com/SKT-AI/KoGPT2

 

 

 

SKT에서 한글 GPT2인 KoGPT2를 공개했습니다. GPT2는 117M, 345M, 762M, 1542M의 4종류로 되어있습니다. KoGPT2는 가장 작은 사이즈인 117M(12 layers)로 구성되어 있습니다. 또한 GPT2보다 절반 정도의 크기인 20GB의 텍스트로 학습을 하였습니다. 아래 사이트에서 테스트도 가능하니 참고하시기 바랍니다.

 

GPT2 한글 버전이 공유된 건 아마 처음인 것 같습니다. 이전에 나온 KoBERT도 그렇고, SKT가 국내 딥러닝 활성화를 위해 많은 기여를 하고 있습니다. 앞으로 더 높은 파라미터의 모델도 나오기를 기대해봅니다.

 

 

 

< KoGPT-2 Explorer >
-> http://52.231.69.211:8000/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
글자, 사진, 영상을 동시에 처리하는 딥마인드의 딥러닝 모델 - Flamingo file 깊은바다 2022-05-10 1428
GPT-4의 특징 정리 file 깊은바다 2023-03-15 1409
GPT-3보다 3배 더 큰 구글의 초거대모델, PaLM file 깊은바다 2022-04-07 1407
소설 쓰는 딥러닝 file 깊은바다 2018-08-31 1388
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 1381
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1379
GPT-3, InstructGPT, GPT-3.5, ChatGPT의 차이점 깊은바다 2023-04-05 1368
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1366
구글의 대화기반 초거대모델 LaMDA, 논문 공개 file 깊은바다 2022-02-08 1361
교육용 챗봇의 미래!? 구글 람다 (LaMDA) 깊은바다 2022-03-11 1361
ChatGPT의 가장 큰 특징인 in-context learning file 깊은바다 2023-02-21 1358
RAG 아키텍처의 이해 깊은바다 2023-07-23 1333
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1221
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1205
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1197
목록
쓰기