레플리
글 수 292

LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개

조회 수 962 추천 수 0 2023.07.27 18:56:42
깊은바다 *.32.218.234


K-001.png

 

K-002.png

 

https://brunch.co.kr/@gentlepie/62

 

 

 

LLM은 모델의 크기가 커지면서 개발자도 예측하지 못한 창발적인 현상이 생겼습니다. 그중 하나가 CoT(Chain of thought)입니다. 이에 대해 간략히 설명한 글입니다.

 

GPT-3에서 Let's think step by step이란 프롬프트만 추가해도 정확도가 크게 향상된다는 논문도 있었습니다. 이런 단계를 사람이 명시적으로 알려주면 더욱 효과적입니다.

 

LLM은 이렇게 task를 단계적으로 나눌 때 더 잘 동작하는 것 같습니다. AutoGPT 역시 CoT와 비슷하게 해야할 일을 먼저 순서대로 나열합니다. 그리고 각각의 일을 하나씩 이어서 실행하고 최종 결과를 사용자에게 전달합니다. 사실 이건 CoT라기 보다는 Planning에 가깝지만요.

 

이 게시물을
첨부
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 775
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 962
RAG 아키텍처의 이해 깊은바다 2023-07-23 1436
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 537
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 838
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1257
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 619
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1492
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 10676
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 363
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 262
생성 에이전트의 자율성이 AGI의 핵심 요소 file 깊은바다 2023-06-25 253
WizardLM의 Evol-instruct로 직접 한글 데이터셋을 만든 모델 file 깊은바다 2023-06-19 1552
세콰이어캐피탈에서 전망하는 LLM의 미래 깊은바다 2023-06-19 308
지금 생성AI는 과도기일 뿐 file 깊은바다 2023-06-19 415
목록
쓰기