레플리
글 수 283

LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개

조회 수 708 추천 수 0 2023.07.27 18:56:42
깊은바다 *.32.218.234


K-001.png

 

K-002.png

 

https://brunch.co.kr/@gentlepie/62

 

 

 

LLM은 모델의 크기가 커지면서 개발자도 예측하지 못한 창발적인 현상이 생겼습니다. 그중 하나가 CoT(Chain of thought)입니다. 이에 대해 간략히 설명한 글입니다.

 

GPT-3에서 Let's think step by step이란 프롬프트만 추가해도 정확도가 크게 향상된다는 논문도 있었습니다. 이런 단계를 사람이 명시적으로 알려주면 더욱 효과적입니다.

 

LLM은 이렇게 task를 단계적으로 나눌 때 더 잘 동작하는 것 같습니다. AutoGPT 역시 CoT와 비슷하게 해야할 일을 먼저 순서대로 나열합니다. 그리고 각각의 일을 하나씩 이어서 실행하고 최종 결과를 사용자에게 전달합니다. 사실 이건 CoT라기 보다는 Planning에 가깝지만요.

 

이 게시물을
첨부
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 703
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 703
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 687
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 674
GPT3 튜링 테스트 깊은바다 2020-07-23 668
사람의 말로 표현하는 페이지(PAIGE) - 자연어생성 깊은바다 2018-08-04 660
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 653
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 649
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 648
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 641
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 631
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 630
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 630
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 623
목록
쓰기