레플리
글 수 281

SKT가 공개한 한글 GPT2 - KoGPT2

조회 수 5290 추천 수 0 2020.02.02 16:39:10


 

https://github.com/SKT-AI/KoGPT2

 

 

 

SKT에서 한글 GPT2인 KoGPT2를 공개했습니다. GPT2는 117M, 345M, 762M, 1542M의 4종류로 되어있습니다. KoGPT2는 가장 작은 사이즈인 117M(12 layers)로 구성되어 있습니다. 또한 GPT2보다 절반 정도의 크기인 20GB의 텍스트로 학습을 하였습니다. 아래 사이트에서 테스트도 가능하니 참고하시기 바랍니다.

 

GPT2 한글 버전이 공유된 건 아마 처음인 것 같습니다. 이전에 나온 KoBERT도 그렇고, SKT가 국내 딥러닝 활성화를 위해 많은 기여를 하고 있습니다. 앞으로 더 높은 파라미터의 모델도 나오기를 기대해봅니다.

 

 

 

< KoGPT-2 Explorer >
-> http://52.231.69.211:8000/

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
BERT 톺아보기 깊은바다 2018-12-17 26387
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25392
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 11895
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9692
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9262
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8129
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7326
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6635
KoGPT2, KoBERT, KoELECTRA로 만든 심리상담 챗봇 file 깊은바다 2020-08-05 6307
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6162
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5290
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5134
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4649
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4294
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4245