레플리
글 수 283

러시아의 구글 얀덱스, 100B 초거대모델 무료 공개

조회 수 806 추천 수 0 2022.06.26 18:38:15
깊은바다 *.68.249.160


https://github.com/yandex/YaLM-100B

 

 

 

러시아의 구글인 얀덱스에서 GPT-3급의 100B 초거대모델을 공개했습니다. 아파치 라이선스로 상업적 이용도 가능합니다. 러시아어와 영어 둘 다 지원합니다. 웨이트만 다운받는데 200GB의 용량이 필요합니다. A100 800대로 65일 동안 학습했다고 합니다. A100 80G 4대 또는 V100 32G 8대의 GPU로 실행할 수 있습니다.

 

페이스북도 곧 OPT(Open Pretrained Transformer)라는 175B의 모델을 공개할 예정입니다. 적어도 영어에서는 초거대모델의 대중화가 이루어질 듯 합니다. 한글 버전도 빨리 공개가 되면 좋겠네요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 712
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 728
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 741
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 751
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 761
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 769
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 794
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 799
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 803
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 806
네이버 뉴스 댓글로 사전훈련한 구어체 모델 - KcBERT 깊은바다 2020-07-20 814
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 836
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 838
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 850
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 852
목록
쓰기