레플리
글 수 293

LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개

조회 수 1061 추천 수 0 2023.07.27 18:56:42
깊은바다 *.32.218.234


K-001.png

 

K-002.png

 

https://brunch.co.kr/@gentlepie/62

 

 

 

LLM은 모델의 크기가 커지면서 개발자도 예측하지 못한 창발적인 현상이 생겼습니다. 그중 하나가 CoT(Chain of thought)입니다. 이에 대해 간략히 설명한 글입니다.

 

GPT-3에서 Let's think step by step이란 프롬프트만 추가해도 정확도가 크게 향상된다는 논문도 있었습니다. 이런 단계를 사람이 명시적으로 알려주면 더욱 효과적입니다.

 

LLM은 이렇게 task를 단계적으로 나눌 때 더 잘 동작하는 것 같습니다. AutoGPT 역시 CoT와 비슷하게 해야할 일을 먼저 순서대로 나열합니다. 그리고 각각의 일을 하나씩 이어서 실행하고 최종 결과를 사용자에게 전달합니다. 사실 이건 CoT라기 보다는 Planning에 가깝지만요.

 

이 게시물을
첨부
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 765
LLM의 미래는 자율행동과 멀티 에이전트 깊은바다 2023-08-30 442
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 1082
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 862
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 1061
RAG 아키텍처의 이해 깊은바다 2023-07-23 1530
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 619
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 938
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1376
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 717
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1610
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 10884
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 453
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 355
생성 에이전트의 자율성이 AGI의 핵심 요소 file 깊은바다 2023-06-25 405
목록
쓰기