레플리
글 수 288

6B 파라미터의 GPT-J_6B 오픈소스 모델

조회 수 4106 추천 수 0 2021.07.01 12:18:15
깊은바다 *.134.227.161


 

https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

 

 

 

EleutherAI는 오픈소스 GPT-3인 GPT-Neo를 공개했습니다. GPT-2의 파라미터가 1.5B, GPT-3는 175B입니다. GPT-Neo는 현재까지 2.7B까지 나왔습니다.

 

이번에는 6B 사이즈인 GPT-J-6B를 내놓았습니다. 800GB 텍스트에서 400B개의 토큰으로 학습했습니다. TPU v3-256으로 5주가 걸렸다고 합니다. 시간당 192$이니 192x5x7x24=161,280$입니다. 대충 2억정도 들었네요.

 

GPT-Neo와의 가장 큰 차이점은 제로샷이 된다는 것입니다. 별도의 파인튜닝 없이도 질문만 넣으면 다양한 태스크가 가능합니다. 샘플 아웃풋을 보면 수학계산, 기계독해(MRC), 코딩 등의 예를 보여주고 있습니다.

 

 

 

< 테스트 페이지 >

https://6b.eleuther.ai/

 

< GitHub >

https://github.com/kingoflolz/mesh-transformer-jax

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
ChatGPT가 Stack Overflow를 대체할까 깊은바다 2023-02-16 136
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 274
MS의 목적은 ChatGPT로 구글이 장악한 검색시장 자체를 무너뜨리는 것 깊은바다 2023-02-11 145
ChatGPT와 통합된 Bing 사용후기 영상 깊은바다 2023-02-10 184
MS, Bing과 Edge에 ChatGPT 통합 file 깊은바다 2023-02-08 167
구글, ChatGPT의 라이벌인 Bard 공개 file 깊은바다 2023-02-07 172
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 228
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 109
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 346
ChatGPT 한글 자동번역 크롬 확장프로그램 깊은바다 2023-01-17 1883
Koko 심리상담 서비스에서 GPT-3 대답 추천 기능을 도입 file 깊은바다 2023-01-11 337
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 913
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 829
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 247
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 434
목록
쓰기