레플리
글 수 293

메타, GPT-3와 동급인 175B의 초거대모델 무료 공개

조회 수 1750 추천 수 0 2022.05.04 13:08:42
깊은바다 *.68.249.160


open sourcing language models concept

 

https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/

 

 

 

놀라운 사건이 일어났습니다. 메타(구 페이스북)가 OPT(Open Pretrained Transformer)라는 모델을 무료로 공개한다고 결정했습니다. 무려 GPT-3와 동일한 175B의 파라미터를 가지고 있습니다. 지금까지는 EleutherAI가 발표한 20B의 GPT-NeoX가 가장 큰 오픈 모델이었습니다. 또한 OPT 개발과정이 자세히 적혀있는 100페이지 분량의 logbook도 함께 공개한다고 합니다. 이를 통해 초거대모델 분야에 큰 파장을 가져올 것 같습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
내가 AI를 직접 가르치고 키우는 반려지능의 시대 file 깊은바다 2023-05-31 1917
소설 쓰는 딥러닝 file 깊은바다 2018-08-31 1883
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1875
7B의 Alpaca가 175B의 GPT-3.5와 동급의 성능을 보임 file 깊은바다 2023-03-14 1875
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 1865
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1864
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1850
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1830
쉽게 씌어진 Word2Vec [2] 깊은바다 2017-12-25 1792
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1767
단어를 벡터로 변환하는 Word2Vec 깊은바다 2017-05-04 1761
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 1757
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 1750
퓨샷(few-shot) 러닝에 최적화된 GPT3 모델 file 깊은바다 2020-05-30 1706
End-To-End Memory Networks - 자연어 질문에 대답하는 모델 [2] 깊은바다 2017-08-21 1691
목록
쓰기