레플리
글 수 282

6B 파라미터의 GPT-J_6B 오픈소스 모델

조회 수 3094 추천 수 0 2021.07.01 12:18:15
깊은바다 *.134.227.161


 

https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

 

 

 

EleutherAI는 오픈소스 GPT-3인 GPT-Neo를 공개했습니다. GPT-2의 파라미터가 1.5B, GPT-3는 175B입니다. GPT-Neo는 현재까지 2.7B까지 나왔습니다.

 

이번에는 6B 사이즈인 GPT-J-6B를 내놓았습니다. 800GB 텍스트에서 400B개의 토큰으로 학습했습니다. TPU v3-256으로 5주가 걸렸다고 합니다. 시간당 192$이니 192x5x7x24=161,280$입니다. 대충 2억정도 들었네요.

 

GPT-Neo와의 가장 큰 차이점은 제로샷이 된다는 것입니다. 별도의 파인튜닝 없이도 질문만 넣으면 다양한 태스크가 가능합니다. 샘플 아웃풋을 보면 수학계산, 기계독해(MRC), 코딩 등의 예를 보여주고 있습니다.

 

 

 

< 테스트 페이지 >

https://6b.eleuther.ai/

 

< GitHub >

https://github.com/kingoflolz/mesh-transformer-jax

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 207
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 89
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 318
ChatGPT 한글 자동번역 크롬 확장프로그램 깊은바다 2023-01-17 1851
Koko 심리상담 서비스에서 GPT-3 대답 추천 기능을 도입 file 깊은바다 2023-01-11 302
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 842
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 794
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 236
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 413
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 507
OpenAI의 대화전용 딥러닝 모델 - ChatGPT file 깊은바다 2022-12-02 965
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 1844
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1149
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1180
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 806
목록
쓰기