레플리
글 수 283

딥러닝과 자연어처리의 집중 메커니즘

조회 수 1019 추천 수 0 2018.09.08 15:21:58
깊은바다 *.68.247.188


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
- http://docs.likejazz.com/attention/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1220
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1156
개체명인식 with Naver 깊은바다 2018-11-20 2320
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4299
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1364
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 3022
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 1055
썰로 푸는 NLP 깊은바다 2018-10-11 494
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 631
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1135
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 959
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 1108
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 618
문장을 사진으로 변환하는 StackGAN [1] 깊은바다 2018-09-17 1435
목록
쓰기