레플리
글 수 281

퓨샷(few-shot) 러닝에 최적화된 GPT3 모델

조회 수 1154 추천 수 0 2020.05.30 13:34:00


K-001.png

 

https://www.facebook.com/groups/TensorFlowKR/permalink/1210069189334137/

 

 

 

요즘 자고 일어나면 새로운 딥러닝 기술이 계속 나오고 있는데요. 얼마 전 OpenAI가 GPT3라는 혁신적인 모델을 공개했습니다. 우선 파라미터가 GPT2의 1.5B에서 100배(!) 증가한 175B입니다. 기존 최고였던 T5의 11B보다도 10배나 높습니다. 이 정도 모델을 학습할 수 있는 회사는 전세계에서 손에 꼽을 듯 합니다. 정확히는 모르겠지만 아마 한 번 사전훈련시키는데 최소 몇억에서 수십억이 들거라 봅니다.

 

GPT2와 또 다른 차이점은 퓨삿러닝(few-shot)에 최적화 되어있다는 것입니다. 과거의 딥러닝은 사전훈련된 모델을 비교적 적은 데이터로 다시 학습시키는 파인튜닝을 사용했습니다. 제로샷, 원샷, 퓨샷러닝은 보통 따로 그래디언트 학습을 하지 않습니다. 제로샷은 사전훈련된 모델을 바로, 원샷은 하나의 예제만, 퓨샷은 몇 개의 예제만으로 새로운 도메인의 문제에 적용할 수 있습니다. 이렇게 해도 GPT3가 기존 파인튜닝한 모델들과 동급, 또는 더 높은 성능을 보였다고 합니다.

 

좀 더 자세한 내용은 링크의 글을 참조하시기 바랍니다.

 

List of Articles
제목 글쓴이 날짜sort 조회 수
GPT-4의 특징 정리 file 깊은바다 2023-03-15 1368
7B의 Alpaca가 175B의 GPT-3.5와 동급의 성능을 보임 file 깊은바다 2023-03-14 957
Together가 공개한 오픈소스 LLM - OpenChatKit 깊은바다 2023-03-12 419
ChatGPT 영어회화 깊은바다 2023-03-09 217
노암 촘스키의 ChatGPT 기고문 깊은바다 2023-03-09 316
GenAI 컨퍼런스 대담 요약 - 어떻게 AI가 비즈니스를 재편할 것인가 깊은바다 2023-03-08 318
ChatGPT로 폴 그레이엄 에세이 검색해서 대답 file 깊은바다 2023-03-03 249
ChatGPT API 정식 공개 file 깊은바다 2023-03-02 449
글쓰기 보조 서비스 JasperAI, ChatGPT 때문에 어려움 직면 깊은바다 2023-03-01 9692
네이버 케어콜의 장기기억 기능 - 맞춤 케어를 위한 기억하기 챗봇 file 깊은바다 2023-03-01 293
OpenAI의 샘 알트만, AGI를 향한 계획 깊은바다 2023-02-25 209
인공지능과 친구가 될 수 있을까요 - 이루다의 페르소나 구축 방법 file 깊은바다 2023-02-21 335
ChatGPT의 가장 큰 특징인 in-context learning file 깊은바다 2023-02-21 1334
OpenAI가 ChatGPT를 개발할 수 있었던 이유 깊은바다 2023-02-20 175
콜센터 챗봇에 ChatGPT를 적용하는 방법 깊은바다 2023-02-20 321