레플리
글 수 281

여러 한국어 GPT 모델들

조회 수 3301 추천 수 0 2021.11.21 18:01:22


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 


깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜sort 조회 수
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 44
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 143
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 185
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 292
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 234
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 269
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 951
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 375
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 165
Private sLLM - 어떻게 만들고 어떻게 배포할까? file 깊은바다 2023-12-18 296
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 147
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 164
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 632
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 567
사진을 인식할 수 있는 ChatGPT 멀티모달 버전 공개 file 깊은바다 2023-09-26 272