레플리
글 수 282

여러 한국어 GPT 모델들

조회 수 3334 추천 수 0 2021.11.21 18:01:22
봄눈 *.79.201.12


kogpt2.png

https://github.com/SKT-AI/KoGPT2

https://huggingface.co/skt/kogpt2-base-v2

 

지난 5월에는 SKT의 KoGPT2 v2.0 모델이 공개됐습니다. 학습에 사용된 데이터셋이 기존 20GB에서 40GB으로 두 배 증가했고, 혼잡도(Perplexity)도 45% 감소했습니다.

 

 

gpt2trinity.png

 

https://huggingface.co/skt/ko-gpt-trinity-1.2B-v0.5

 

마찬가지로 5월에 GPT-3의 구조를 모방한 Ko-GPT-Trinity라는 모델이 공개됐습니다. 파라미터의 수가 1.2B로 125M이었던 KoGPT2에 비해 크게 늘어났습니다.

 

 

kogpt.png

https://github.com/kakaobrain/kogpt

https://huggingface.co/kakaobrain/kogpt

https://huggingface.co/spaces/akhaliq/kogpt

 

그리고 며칠 전 카카오에서도 GPT 모델을 공개했습니다. 파라미터의 수가 6B로 가장 큽니다. 카카오는 앞으로 GPT 모델의 크기와 성능을 100배 규모로 키울 예정이라고 밝혔습니다.

 

이 게시물을
첨부
엮인글 :
목록

깊은바다

2021.11.22 18:16:50
*.106.133.166

좋은 정보 감사합니다!

List of Articles
제목 글쓴이 날짜 조회 수sort
BERT 톺아보기 깊은바다 2018-12-17 26395
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25439
초거대모델의 파인튜닝 방법 - P-tuning과 LoRA file 깊은바다 2022-04-05 12054
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9693
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9676
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8135
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7327
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6641
KoGPT2, KoBERT, KoELECTRA로 만든 심리상담 챗봇 file 깊은바다 2020-08-05 6351
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6172
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5296
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5151
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4667
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4299
인라이플의 한글 BERT 대형모델 깊은바다 2020-05-18 4246
목록
쓰기