글 수 182

퓨샷(few-shot) 러닝에 최적화된 GPT3 모델

조회 수 829 추천 수 0 2020.05.30 13:34:00


K-001.png

 

https://www.facebook.com/groups/TensorFlowKR/permalink/1210069189334137/

 

 

 

요즘 자고 일어나면 새로운 딥러닝 기술이 계속 나오고 있는데요. 얼마 전 OpenAI가 GPT3라는 혁신적인 모델을 공개했습니다. 우선 파라미터가 GPT2의 1.5B에서 100배(!) 증가한 175B입니다. 기존 최고였던 T5의 11B보다도 10배나 높습니다. 이 정도 모델을 학습할 수 있는 회사는 전세계에서 손에 꼽을 듯 합니다. 정확히는 모르겠지만 아마 한 번 사전훈련시키는데 최소 몇억에서 수십억이 들거라 봅니다.

 

GPT2와 또 다른 차이점은 퓨삿러닝(few-shot)에 최적화 되어있다는 것입니다. 과거의 딥러닝은 사전훈련된 모델을 비교적 적은 데이터로 다시 학습시키는 파인튜닝을 사용했습니다. 제로샷, 원샷, 퓨샷러닝은 보통 따로 그래디언트 학습을 하지 않습니다. 제로샷은 사전훈련된 모델을 바로, 원샷은 하나의 예제만, 퓨샷은 몇 개의 예제만으로 새로운 도메인의 문제에 적용할 수 있습니다. 이렇게 해도 GPT3가 기존 파인튜닝한 모델들과 동급, 또는 더 높은 성능을 보였다고 합니다.

 

좀 더 자세한 내용은 링크의 글을 참조하시기 바랍니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
Jay Alammar의 트랜스포머 한글 번역글 깊은바다 2019-05-09 942
가짜뉴스를 생성 또는 판별하는 딥러닝 모델 - Grover 깊은바다 2019-06-01 916
프로그램을 작성하는 딥마인드의 알파코드 file 깊은바다 2022-02-04 903
End-To-End Memory Networks - 자연어 질문에 대답하는 모델 [2] 깊은바다 2017-08-21 903
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 887
GPT3 유료화 기능 소개 영상 깊은바다 2020-06-15 875
LG 사이언스파크에서 만든 한글 MRC(기계독해) 데모 file [2] 깊은바다 2020-03-07 871
메타, GPT-3와 동급인 175B의 초거대모델 무료 공개 깊은바다 2022-05-04 868
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 864
챗봇의 슬롯 채우기(Slot Filling)와 DST(Dialogue State Tracking) file 깊은바다 2021-08-19 857
Word2Vec의 학습 방식 깊은바다 2019-01-17 855
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 844
스캐터랩의 핑퐁팀, 새로운 생성 모델 챗봇 데모 공개 깊은바다 2020-11-02 839
페이스북의 일상대화 딥러닝 모델 - BlenderBot file 깊은바다 2020-05-01 831
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 830