레플리
글 수 281

ChatGPT의 가장 큰 특징인 in-context learning

조회 수 1334 추천 수 0 2023.02.21 09:19:47


332298507_1832392993806593_3259489567780363559_n.jpg

 

https://www.facebook.com/seongwan.kim.3/posts/9185808398110883

 

 

 

ChatGPT의 in-context learning에 대해 잘 설명한 글입니다. 사실 이게 LLM의 가장 강력한 특징인데요. 기존 BERT 같은 사전훈련 모델은 새로운 데이터로 파인튜닝을 해야했습니다.

 

하지만 초거대AI인 GPT-3의 등장으로 학습방법이 완전히 바뀌었습니다. 입력에 prompt를 넣어서 이렇게 하라고 말로 설명만 하면 됩니다. 이때 몇 가지 예시를 넣어주면 더욱 좋습니다. 이런 방법을 few-show learning이라고 합니다. in-context learning과 few-shot learning은 비슷한 개념이라고 보시면 됩니다.

 

그런데 ChatGPT가 나오면서 in-context learning이 더욱 강화되었습니다. 이전 GPT-3는 prompt 안에서 few-shot이나 one-shot으로만 예시를 추가했는데요. ChatGPT는 대화를 계속 주고받으면서 가르칠 수 있게 되었습니다. 이게 UX 측면에서 엄청난 차이라고 생각합니다. 그래서 ChatGPT가 이처럼 큰 인기를 끌게 된 것일 수도 있고요.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 557
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 560
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 567
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 568
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 581
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 586
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 586
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 593
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 613
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 613
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 615
GPT2를 테스트해볼 수 있는 사이트 - Talk to Transformer file 깊은바다 2020-06-05 615
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 622
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 623