레플리
글 수 283

여러 한국어 GPT 모델들

조회 수 3337 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜sort 조회 수
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 249
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 569
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 587
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 356
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 3138
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3707
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 654
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 562
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 1474
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 556
문장을 벡터로 변환하는 방법들 깊은바다 2021-09-16 931
부적절한 문장을 판단해주는 딥러닝 모델 - Ask Delphi file 깊은바다 2021-11-08 399
여러 한국어 GPT 모델들 file [1] 봄눈 2021-11-21 3337
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 762
검색기반 거대모델인 딥마인드의 RETRO 깊은바다 2021-12-20 511
목록
쓰기