레플리
글 수 283

LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개

조회 수 712 추천 수 0 2023.07.27 18:56:42
깊은바다 *.32.218.234


K-001.png

 

K-002.png

 

https://brunch.co.kr/@gentlepie/62

 

 

 

LLM은 모델의 크기가 커지면서 개발자도 예측하지 못한 창발적인 현상이 생겼습니다. 그중 하나가 CoT(Chain of thought)입니다. 이에 대해 간략히 설명한 글입니다.

 

GPT-3에서 Let's think step by step이란 프롬프트만 추가해도 정확도가 크게 향상된다는 논문도 있었습니다. 이런 단계를 사람이 명시적으로 알려주면 더욱 효과적입니다.

 

LLM은 이렇게 task를 단계적으로 나눌 때 더 잘 동작하는 것 같습니다. AutoGPT 역시 CoT와 비슷하게 해야할 일을 먼저 순서대로 나열합니다. 그리고 각각의 일을 하나씩 이어서 실행하고 최종 결과를 사용자에게 전달합니다. 사실 이건 CoT라기 보다는 Planning에 가깝지만요.

 

이 게시물을
첨부
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
DALL-E를 능가하는 OpenAI의 GLIDE 깊은바다 2021-12-27 838
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 838
네이버 뉴스 댓글로 사전훈련한 구어체 모델 - KcBERT 깊은바다 2020-07-20 814
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 806
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 804
GPT-3 패러다임을 바꿀 미친 성능의 인공지능 등장 및 활용 사례 10가지 깊은바다 2020-09-14 799
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 794
GPT3로 하는 리액트 프로그래밍 file 깊은바다 2020-07-19 769
HyperCLOVA로 만드는 캐릭터 챗봇 file 깊은바다 2021-11-26 762
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 751
GPT3가 상식을 가지고 있을까 깊은바다 2020-07-24 741
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 729
RAG를 사용한 페르소나 챗봇 - ChatHaruhi file 깊은바다 2023-10-17 715
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 712
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 707
목록
쓰기