레플리
글 수 283

여러 한국어 GPT 모델들

조회 수 3335 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜sort 조회 수
RNN과 Torch로 발라드곡 작사하기 깊은바다 2018-03-23 538
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6641
잡담봇 삽질기 - 문봇에서 딥러닝 Seq2Seq로 문장 생성 깊은바다 2018-03-25 857
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 613
Gluon으로구현해보는 한영기계번역 모형 깊은바다 2018-04-13 275
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5152
딥러닝으로 욕설 탐지하기 file [2] 깊은바다 2018-05-04 1073
Java에서 Word2vec 사용하기 깊은바다 2018-05-05 1562
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 674
딥러닝 학습으로 배우는 대화 인공지능 - 구글 듀플렉스 깊은바다 2018-05-09 515
머신러닝의 자연어처리 기술 깊은바다 2018-05-11 937
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 561
페이지(PAIGE)를 만드는 사람들 - 자연어처리 기법 깊은바다 2018-05-26 397
딥러닝으로 미소녀 챗봇 만들기 깊은바다 2018-06-01 1497
게임 속 음성 기술 깊은바다 2018-06-13 206
목록
쓰기