레플리
글 수 283

러시아의 구글 얀덱스, 100B 초거대모델 무료 공개

조회 수 806 추천 수 0 2022.06.26 18:38:15
깊은바다 *.68.249.160


https://github.com/yandex/YaLM-100B

 

 

 

러시아의 구글인 얀덱스에서 GPT-3급의 100B 초거대모델을 공개했습니다. 아파치 라이선스로 상업적 이용도 가능합니다. 러시아어와 영어 둘 다 지원합니다. 웨이트만 다운받는데 200GB의 용량이 필요합니다. A100 800대로 65일 동안 학습했다고 합니다. A100 80G 4대 또는 V100 32G 8대의 GPU로 실행할 수 있습니다.

 

페이스북도 곧 OPT(Open Pretrained Transformer)라는 175B의 모델을 공개할 예정입니다. 적어도 영어에서는 초거대모델의 대중화가 이루어질 듯 합니다. 한글 버전도 빨리 공개가 되면 좋겠네요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
한국어 형태소 분석기 성능 비교 - khaiii 깊은바다 2018-12-10 1447
BERT 톺아보기 깊은바다 2018-12-17 26395
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
사전훈련 자연어처리 모델의 발전과정 - The Illustrated BERT, ELMo, and co. 깊은바다 2019-01-01 1379
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4113
딥러닝 자연어처리 - RNN에서 BERT까지 [2] 깊은바다 2019-01-07 1756
Word2Vec 테스트 사이트 file 깊은바다 2019-01-13 1198
Word2Vec의 학습 방식 깊은바다 2019-01-17 898
문장을 입력하면 비슷한 짤방을 보여주는 프로젝트 file 깊은바다 2019-01-28 6172
목적지향 대화 학습 - Learning End-to-End Goal-Oriented Dialog file 깊은바다 2019-02-02 1597
텐서플로에서 사전 훈련된 임베딩을 사용하는 예제 깊은바다 2019-02-02 480
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2980
문장의 유사성을 예측하고 평가하는 AI - 카카오 심슨 깊은바다 2019-03-20 1461
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 630
목록
쓰기