레플리
글 수 282

메타, GPT-3와 동급인 175B의 초거대모델 무료 공개

조회 수 1188 추천 수 0 2022.05.04 13:08:42
깊은바다 *.68.249.160


open sourcing language models concept

 

https://www.technologyreview.com/2022/05/03/1051691/meta-ai-large-language-model-gpt3-ethics-huggingface-transparency/

 

 

 

놀라운 사건이 일어났습니다. 메타(구 페이스북)가 OPT(Open Pretrained Transformer)라는 모델을 무료로 공개한다고 결정했습니다. 무려 GPT-3와 동일한 175B의 파라미터를 가지고 있습니다. 지금까지는 EleutherAI가 발표한 20B의 GPT-NeoX가 가장 큰 오픈 모델이었습니다. 또한 OPT 개발과정이 자세히 적혀있는 100페이지 분량의 logbook도 함께 공개한다고 합니다. 이를 통해 초거대모델 분야에 큰 파장을 가져올 것 같습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
글쓰는 법을 배우는 신경망 깊은바다 2016-03-25 1538
구글의 딥러닝 대화 알고리즘 깊은바다 2016-03-25 3356
딥러닝으로 챗봇 만들기 깊은바다 2017-05-03 3172
단어를 벡터로 변환하는 Word2Vec 깊은바다 2017-05-04 1039
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2740
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8135
End-To-End Memory Networks - 자연어 질문에 대답하는 모델 [2] 깊은바다 2017-08-21 962
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 깊은바다 2017-08-25 2582
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7327
딥러닝 기반 자연어처리 기법의 최근 연구 동향 [2] 깊은바다 2017-12-17 1020
쉽게 씌어진 Word2Vec [2] 깊은바다 2017-12-25 1178
구글 딥러닝 자연어 처리 오픈소스 SyntaxNet file 깊은바다 2017-12-28 2784
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25437
한국어 자연어처리를 위한 딥러닝 깊은바다 2018-02-14 3650
딥러닝을 사용한 감성분석기 개발 깊은바다 2018-02-22 1658
목록
쓰기