레플리
글 수 282

여러 한국어 GPT 모델들

조회 수 3333 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜 조회 수sort
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2980
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
구글 딥러닝 자연어 처리 오픈소스 SyntaxNet file 깊은바다 2017-12-28 2784
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2773
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2740
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 깊은바다 2017-08-25 2582
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 2561
오픈소스 한국어 딥러닝 챗봇 - Kochat 깊은바다 2020-07-03 2501
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 2328
개체명인식 with Naver 깊은바다 2018-11-20 2320
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 2279
GPT2에서 문장 생성 시 단어를 확률에 따라 선택하는 방법 깊은바다 2020-07-16 2200
소설을 생성하는 NarrativeKoGPT2 file 깊은바다 2020-06-19 2195
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 2009
딥러닝으로 욕설 탐지하기 깊은바다 2018-08-06 1881
목록
쓰기