글 수 74

딥러닝과 자연어처리의 집중 메커니즘

조회 수 163 추천 수 0 2018.09.08 15:21:58


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
http://docs.likejazz.com/attention/






엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
문장을 사진으로 변환하는 StackGAN [1] 깊은바다 2018-09-17 184
딥러닝으로 상식 구축 - Event2Mind 깊은바다 2018-09-14 158
딥러닝과 자연어처리의 집중 메커니즘 깊은바다 2018-09-08 163
네이버 영화 리뷰 감정 분석 깊은바다 2018-09-07 535
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 133
소설 쓰는 딥러닝 file 깊은바다 2018-08-31 244
스탠포드 자연어처리 강의 - The Limits and Future of NLP 깊은바다 2018-08-30 141
문장의 유사도를 파악하는 구글의 universal-sentence-encoder file 깊은바다 2018-08-29 186
추천시스템이 word2vec을 만났을때 깊은바다 2018-08-22 239
딥러닝을 이용한 지역 컨텍스트 검색 깊은바다 2018-08-10 114
딥러닝으로 욕설 탐지하기 깊은바다 2018-08-06 198
사람의 말로 표현하는 페이지(PAIGE) - 자연어생성 깊은바다 2018-08-04 252
딥러닝을 이용한 자연어 처리 깊은바다 2018-08-01 270
구글 듀플렉스에 대한 소개 깊은바다 2018-07-30 100
게임 속 음성 기술 깊은바다 2018-06-13 107