레플리
글 수 284

여러 한국어 GPT 모델들

조회 수 3337 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜 조회 수sort
장문의 대답을 평가하는 자연어처리 벤치마크 - TuringAdvice 깊은바다 2020-04-17 215
ChatGPT 영어회화 깊은바다 2023-03-09 218
카카오브레인 김일두 대표님의 글 - 생성AI가 비즈니스를 어떻게 혁신할까 깊은바다 2023-06-15 218
딥러닝을 이용한 지역 컨텍스트 검색 깊은바다 2018-08-10 222
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 236
하이퍼클로바 기반의 심리상담 챗봇 개발 경험 깊은바다 2023-02-17 238
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 238
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 247
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 249
ChatGPT로 폴 그레이엄 에세이 검색해서 대답 file 깊은바다 2023-03-03 251
세콰이어캐피탈에서 전망하는 LLM의 미래 깊은바다 2023-06-19 251
ChatGPT, 타임지 표지 장식 깊은바다 2023-02-17 255
카카오미니의 명령어 분류 방법 깊은바다 2020-10-23 260
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 260
생성 에이전트를 ChatGPT 프롬프트만으로 구현 file 깊은바다 2023-04-20 265
목록
쓰기