레플리
글 수 284

러시아의 구글 얀덱스, 100B 초거대모델 무료 공개

조회 수 806 추천 수 0 2022.06.26 18:38:15
깊은바다 *.68.249.160


https://github.com/yandex/YaLM-100B

 

 

 

러시아의 구글인 얀덱스에서 GPT-3급의 100B 초거대모델을 공개했습니다. 아파치 라이선스로 상업적 이용도 가능합니다. 러시아어와 영어 둘 다 지원합니다. 웨이트만 다운받는데 200GB의 용량이 필요합니다. A100 800대로 65일 동안 학습했다고 합니다. A100 80G 4대 또는 V100 32G 8대의 GPU로 실행할 수 있습니다.

 

페이스북도 곧 OPT(Open Pretrained Transformer)라는 175B의 모델을 공개할 예정입니다. 적어도 영어에서는 초거대모델의 대중화가 이루어질 듯 합니다. 한글 버전도 빨리 공개가 되면 좋겠네요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 631
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 631
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 631
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 641
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 653
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 654
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 656
사람의 말로 표현하는 페이지(PAIGE) - 자연어생성 깊은바다 2018-08-04 660
GPT3 튜링 테스트 깊은바다 2020-07-23 668
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 674
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 687
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 703
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 706
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 707
목록
쓰기