레플리
글 수 284

딥러닝과 자연어처리의 집중 메커니즘

조회 수 1019 추천 수 0 2018.09.08 15:21:58
깊은바다 *.68.247.188


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
- http://docs.likejazz.com/attention/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 3270
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 1179
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 1582
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 554
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 1737
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 581
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 2010
네이버 영화리뷰 감정분석 with Hugging Face BERT file 깊은바다 2019-12-17 4672
GPT2 텍스트 어드벤처 게임, AI Dungeon 앱 출시 깊은바다 2019-12-23 404
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 622
핑퐁의 리액션 모델 - Dialog-BERT 만들기 깊은바다 2020-01-28 1381
구글의 일상대화 딥러닝 모델 - Meena file 깊은바다 2020-01-30 1771
SKT가 공개한 한글 GPT2 - KoGPT2 깊은바다 2020-02-02 5297
GPT2로 만든 가상의 SNS - Botnet 깊은바다 2020-02-14 469
페르소나에 따라 대화를 하는 딥러닝 챗봇 by Hugging Face 깊은바다 2020-03-06 1011
목록
쓰기