레플리
글 수 282

딥러닝과 자연어처리의 집중 메커니즘

조회 수 1019 추천 수 0 2018.09.08 15:21:58
깊은바다 *.68.247.188


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
- http://docs.likejazz.com/attention/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
사진을 인식할 수 있는 ChatGPT 멀티모달 버전 공개 file 깊은바다 2023-09-26 279
Poe에 추가된 업스테이지의 LLM, Solar-70b file 깊은바다 2023-09-18 438
RAG 아키텍처를 위한 임베딩 모델의 선택에 대해 깊은바다 2023-09-14 519
LLM의 미래는 자율행동과 멀티 에이전트 깊은바다 2023-08-30 300
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 751
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 621
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 707
RAG 아키텍처의 이해 깊은바다 2023-07-23 1328
GPT-4 세부구조에 대한 정보 유출 깊은바다 2023-07-20 457
Llama 2의 RLHF 구현 방법 깊은바다 2023-07-19 723
한국어 LLM 민주화의 시작 KoAlpaca file 깊은바다 2023-07-17 1059
레포트를 써주는 LLM - GPT Researcher file 깊은바다 2023-07-13 409
LLM 챗봇의 특징 2가지 - RAG와 Function 깊은바다 2023-07-06 1196
RAG(Retrieval-Augmented Generation) - LLM의 환각을 줄이는 방법 file 깊은바다 2023-07-04 9671
Generative AI — 시장 구조, 기회, moat에 대한 몇 가지 생각 깊은바다 2023-06-27 302
목록
쓰기