레플리
글 수 281

퓨샷(few-shot) 러닝에 최적화된 GPT3 모델

조회 수 1154 추천 수 0 2020.05.30 13:34:00


K-001.png

 

https://www.facebook.com/groups/TensorFlowKR/permalink/1210069189334137/

 

 

 

요즘 자고 일어나면 새로운 딥러닝 기술이 계속 나오고 있는데요. 얼마 전 OpenAI가 GPT3라는 혁신적인 모델을 공개했습니다. 우선 파라미터가 GPT2의 1.5B에서 100배(!) 증가한 175B입니다. 기존 최고였던 T5의 11B보다도 10배나 높습니다. 이 정도 모델을 학습할 수 있는 회사는 전세계에서 손에 꼽을 듯 합니다. 정확히는 모르겠지만 아마 한 번 사전훈련시키는데 최소 몇억에서 수십억이 들거라 봅니다.

 

GPT2와 또 다른 차이점은 퓨삿러닝(few-shot)에 최적화 되어있다는 것입니다. 과거의 딥러닝은 사전훈련된 모델을 비교적 적은 데이터로 다시 학습시키는 파인튜닝을 사용했습니다. 제로샷, 원샷, 퓨샷러닝은 보통 따로 그래디언트 학습을 하지 않습니다. 제로샷은 사전훈련된 모델을 바로, 원샷은 하나의 예제만, 퓨샷은 몇 개의 예제만으로 새로운 도메인의 문제에 적용할 수 있습니다. 이렇게 해도 GPT3가 기존 파인튜닝한 모델들과 동급, 또는 더 높은 성능을 보였다고 합니다.

 

좀 더 자세한 내용은 링크의 글을 참조하시기 바랍니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
아카라이브 AI 언어모델 로컬 채널 file 깊은바다 2023-05-23 488
썰로 푸는 NLP 깊은바다 2018-10-11 494
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 496
카카오의 딥러닝 기반 형태소 분석기 깊은바다 2018-11-30 497
ChatGPT의 오픈소스 버전 - ColossalChat file 깊은바다 2023-03-30 497
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 506
검색기반 거대모델인 딥마인드의 RETRO 깊은바다 2021-12-20 510
꼼꼼하고 이해하기 쉬운 ELECTRA 논문 리뷰 깊은바다 2020-05-15 512
딥러닝 학습으로 배우는 대화 인공지능 - 구글 듀플렉스 깊은바다 2018-05-09 515
딥러닝을 이용한 자연어 처리 깊은바다 2018-08-01 523
인플루언서의 목소리 클론과 GPT-4로 만든 아바타 서비스 - Caryn.ai 깊은바다 2023-05-11 531
RNN과 Torch로 발라드곡 작사하기 깊은바다 2018-03-23 538
좋은 응답을 골라내는 모델 만들기 - 핑퐁의 답변매칭 알고리즘 깊은바다 2020-12-10 552
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 553
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 554