레플리
글 수 281

퓨샷(few-shot) 러닝에 최적화된 GPT3 모델

조회 수 1154 추천 수 0 2020.05.30 13:34:00


K-001.png

 

https://www.facebook.com/groups/TensorFlowKR/permalink/1210069189334137/

 

 

 

요즘 자고 일어나면 새로운 딥러닝 기술이 계속 나오고 있는데요. 얼마 전 OpenAI가 GPT3라는 혁신적인 모델을 공개했습니다. 우선 파라미터가 GPT2의 1.5B에서 100배(!) 증가한 175B입니다. 기존 최고였던 T5의 11B보다도 10배나 높습니다. 이 정도 모델을 학습할 수 있는 회사는 전세계에서 손에 꼽을 듯 합니다. 정확히는 모르겠지만 아마 한 번 사전훈련시키는데 최소 몇억에서 수십억이 들거라 봅니다.

 

GPT2와 또 다른 차이점은 퓨삿러닝(few-shot)에 최적화 되어있다는 것입니다. 과거의 딥러닝은 사전훈련된 모델을 비교적 적은 데이터로 다시 학습시키는 파인튜닝을 사용했습니다. 제로샷, 원샷, 퓨샷러닝은 보통 따로 그래디언트 학습을 하지 않습니다. 제로샷은 사전훈련된 모델을 바로, 원샷은 하나의 예제만, 퓨샷은 몇 개의 예제만으로 새로운 도메인의 문제에 적용할 수 있습니다. 이렇게 해도 GPT3가 기존 파인튜닝한 모델들과 동급, 또는 더 높은 성능을 보였다고 합니다.

 

좀 더 자세한 내용은 링크의 글을 참조하시기 바랍니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 724
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 739
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 757
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 769
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 779
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 793
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 797
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 804
네이버 뉴스 댓글로 사전훈련한 구어체 모델 - KcBERT 깊은바다 2020-07-20 813
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 816
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 834
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 837
인간의 언어를 이해하는 기계, NLU 깊은바다 2019-05-17 846
잡담봇 삽질기 - 문봇에서 딥러닝 Seq2Seq로 문장 생성 깊은바다 2018-03-25 856
내가 AI를 직접 가르치고 키우는 반려지능의 시대 file 깊은바다 2023-05-31 884