레플리
글 수 284

LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개

조회 수 715 추천 수 0 2023.07.27 18:56:42
깊은바다 *.32.218.234


K-001.png

 

K-002.png

 

https://brunch.co.kr/@gentlepie/62

 

 

 

LLM은 모델의 크기가 커지면서 개발자도 예측하지 못한 창발적인 현상이 생겼습니다. 그중 하나가 CoT(Chain of thought)입니다. 이에 대해 간략히 설명한 글입니다.

 

GPT-3에서 Let's think step by step이란 프롬프트만 추가해도 정확도가 크게 향상된다는 논문도 있었습니다. 이런 단계를 사람이 명시적으로 알려주면 더욱 효과적입니다.

 

LLM은 이렇게 task를 단계적으로 나눌 때 더 잘 동작하는 것 같습니다. AutoGPT 역시 CoT와 비슷하게 해야할 일을 먼저 순서대로 나열합니다. 그리고 각각의 일을 하나씩 이어서 실행하고 최종 결과를 사용자에게 전달합니다. 사실 이건 CoT라기 보다는 Planning에 가깝지만요.

 

이 게시물을
첨부
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
RNN과 Torch로 발라드곡 작사하기 깊은바다 2018-03-23 538
챗봇에 딥러닝 학습을 적용하기 어려운 이유 file 깊은바다 2018-03-23 6641
잡담봇 삽질기 - 문봇에서 딥러닝 Seq2Seq로 문장 생성 깊은바다 2018-03-25 857
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 614
Gluon으로구현해보는 한영기계번역 모형 깊은바다 2018-04-13 275
챗봇에서 유사한 문장 자동인식 방법 file 깊은바다 2018-04-27 5154
딥러닝으로 욕설 탐지하기 file [2] 깊은바다 2018-05-04 1073
Java에서 Word2vec 사용하기 깊은바다 2018-05-05 1570
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 674
딥러닝 학습으로 배우는 대화 인공지능 - 구글 듀플렉스 깊은바다 2018-05-09 515
머신러닝의 자연어처리 기술 깊은바다 2018-05-11 937
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 561
페이지(PAIGE)를 만드는 사람들 - 자연어처리 기법 깊은바다 2018-05-26 397
딥러닝으로 미소녀 챗봇 만들기 깊은바다 2018-06-01 1499
게임 속 음성 기술 깊은바다 2018-06-13 206
목록
쓰기