레플리
글 수 284

SKT가 공개한 한글 GPT2 - KoGPT2

조회 수 5297 추천 수 0 2020.02.02 16:39:10


 

https://github.com/SKT-AI/KoGPT2

 

 

 

SKT에서 한글 GPT2인 KoGPT2를 공개했습니다. GPT2는 117M, 345M, 762M, 1542M의 4종류로 되어있습니다. KoGPT2는 가장 작은 사이즈인 117M(12 layers)로 구성되어 있습니다. 또한 GPT2보다 절반 정도의 크기인 20GB의 텍스트로 학습을 하였습니다. 아래 사이트에서 테스트도 가능하니 참고하시기 바랍니다.

 

GPT2 한글 버전이 공유된 건 아마 처음인 것 같습니다. 이전에 나온 KoBERT도 그렇고, SKT가 국내 딥러닝 활성화를 위해 많은 기여를 하고 있습니다. 앞으로 더 높은 파라미터의 모델도 나오기를 기대해봅니다.

 

 

 

< KoGPT-2 Explorer >
-> http://52.231.69.211:8000/

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
MS 코파일럿, 한국어 토큰수 2배에서 1.1배로 감소 file 깊은바다 2024-05-04 25
5배 싸진 클로바X의 경량화 모델 - HCX-DASH file 깊은바다 2024-04-26 45
클로바X의 사용량 제한 - QPM과 TPM 깊은바다 2024-04-01 111
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 119
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 248
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 299
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 332
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 261
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 306
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 1184
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 473
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 186
Private sLLM - 어떻게 만들고 어떻게 배포할까? file 깊은바다 2023-12-18 403
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 168
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 190