레플리
글 수 283

여러 한국어 GPT 모델들

조회 수 3337 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜 조회 수sort
부적절한 문장을 판단해주는 딥러닝 모델 - Ask Delphi file 깊은바다 2021-11-08 399
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 404
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 413
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 428
텍스트 스타일을 바꾸는 딥러닝 기술 깊은바다 2021-06-01 436
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 436
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 440
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 455
MS의 딥러닝 대화 모델 - DialoGPT file 깊은바다 2020-04-24 457
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 459
딥러닝 상식추론 모델- COMET file 깊은바다 2020-05-04 466
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 471
아마존, End-to-End 딥러닝 기술을 고객서비스에 챗봇에 적용 깊은바다 2020-03-17 472
GPT-2를 사용한 텍스트 압축 기법 file 깊은바다 2021-02-19 473
목록
쓰기