레플리
글 수 293

딥러닝과 자연어처리의 집중 메커니즘

조회 수 1063 추천 수 0 2018.09.08 15:21:58
깊은바다 *.68.247.188


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
- http://docs.likejazz.com/attention/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1390
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 3080
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 1081
썰로 푸는 NLP 깊은바다 2018-10-11 521
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 664
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1191
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 1036
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 1164
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 661
문장을 사진으로 변환하는 StackGAN [1] 깊은바다 2018-09-17 1491
딥러닝으로 상식 구축 - Event2Mind 깊은바다 2018-09-14 415
딥러닝과 자연어처리의 집중 메커니즘 깊은바다 2018-09-08 1063
네이버 영화 리뷰 감정 분석 깊은바다 2018-09-07 3340
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 683
소설 쓰는 딥러닝 file 깊은바다 2018-08-31 1432
목록
쓰기