레플리
글 수 283

메타, GPT-3와 동급인 175B의 초거대모델 무료 공개

조회 수 1191 추천 수 0 2022.05.04 13:08:42
깊은바다 *.68.249.160


open sourcing language models concept

 

https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/

 

 

 

놀라운 사건이 일어났습니다. 메타(구 페이스북)가 OPT(Open Pretrained Transformer)라는 모델을 무료로 공개한다고 결정했습니다. 무려 GPT-3와 동일한 175B의 파라미터를 가지고 있습니다. 지금까지는 EleutherAI가 발표한 20B의 GPT-NeoX가 가장 큰 오픈 모델이었습니다. 또한 OPT 개발과정이 자세히 적혀있는 100페이지 분량의 logbook도 함께 공개한다고 합니다. 이를 통해 초거대모델 분야에 큰 파장을 가져올 것 같습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
GPT-3를 사용하여 코딩을 하는 MS의 파워FX 깊은바다 2021-06-01 249
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 569
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 587
GPT-3를 활용하여 주석을 코드로 바꿔주는 GitHub Copilot 깊은바다 2021-06-30 356
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 3138
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3707
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 654
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 562
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 1474
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 556
문장을 벡터로 변환하는 방법들 깊은바다 2021-09-16 931
부적절한 문장을 판단해주는 딥러닝 모델 - Ask Delphi file 깊은바다 2021-11-08 399
여러 한국어 GPT 모델들 file [1] 봄눈 2021-11-21 3337
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 762
검색기반 거대모델인 딥마인드의 RETRO 깊은바다 2021-12-20 511
목록
쓰기