레플리
글 수 282

러시아의 구글 얀덱스, 100B 초거대모델 무료 공개

조회 수 806 추천 수 0 2022.06.26 18:38:15
깊은바다 *.68.249.160


https://github.com/yandex/YaLM-100B

 

 

 

러시아의 구글인 얀덱스에서 GPT-3급의 100B 초거대모델을 공개했습니다. 아파치 라이선스로 상업적 이용도 가능합니다. 러시아어와 영어 둘 다 지원합니다. 웨이트만 다운받는데 200GB의 용량이 필요합니다. A100 800대로 65일 동안 학습했다고 합니다. A100 80G 4대 또는 V100 32G 8대의 GPU로 실행할 수 있습니다.

 

페이스북도 곧 OPT(Open Pretrained Transformer)라는 175B의 모델을 공개할 예정입니다. 적어도 영어에서는 초거대모델의 대중화가 이루어질 듯 합니다. 한글 버전도 빨리 공개가 되면 좋겠네요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 556
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 559
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 560
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 569
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 581
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 587
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 587
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 613
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 618
GPT2를 테스트해볼 수 있는 사이트 - Talk to Transformer file 깊은바다 2020-06-05 619
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 621
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 622
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 626
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 630
목록
쓰기