레플리
글 수 284

딥러닝과 자연어처리의 집중 메커니즘

조회 수 1019 추천 수 0 2018.09.08 15:21:58
깊은바다 *.68.247.188


 

http://wizardsnote.tumblr.com/post/136672232610/%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC-%EC%9E%90%EC%97%B0%EC%96%B4%EC%B2%98%EB%A6%AC%EC%9D%98-%EC%A7%91%EC%A4%91-%EB%A9%94%EC%BB%A4%EB%8B%88%EC%A6%98

 

 

 

신경망 번역이나 챗봇에서도 자주 쓰이는 딥러닝의 Seq2Seq는 RNN으로 구성된 인코더와 디코더로 이루어져 있습니다. 문장이 입력으로 들어오면 새로운 문장이 바로 출력으로 나오는 구조입니다.

 

인코더의 출력 벡터가 입력 문장의 전체 정보를 가지고 있고 이것이 디코더의 입력으로 들어갑니다. 하지만 벡터값 하나에 모든 정보를 담고 있다 보니 문장이 길어질수록 정확도가 떨어지는 문제가 있습니다. 이런 단점을 보완하기 위해 어텐션(attention)이란 기법을 사용하는데 여기에 대해 아주 쉽게 설명한 글입니다.

 

간단히 설명하면 인코더에서 각 단어마다 반복되는(RNN의 특성인) 히든스테이트의 출력을 모아서 새로운 어텐션 신경망을 만들고 이것을 디코더의 출력 순서에 맞게 입력으로 같이 사용합니다. 그래서 디코더의 각 단계마다 입력 문장의 어느 부분에 더 집중을 할지 알 수 있습니다. 좀 더 자세한 사항은 아래 링크를 참조하시기 바랍니다.

 

 

 

< Attention Mechanism 시각화 >
- http://docs.likejazz.com/attention/

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4113
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3707
한국어 자연어처리를 위한 딥러닝 깊은바다 2018-02-14 3652
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 3570
한국어로 대화하는 생성 모델의 학습을 위한 여정 - Transformer와 GPT2 깊은바다 2020-08-13 3565
KoGPT2를 파인튜닝하여 만든 챗봇 깊은바다 2020-06-23 3525
구글의 딥러닝 대화 알고리즘 깊은바다 2016-03-25 3356
여러 한국어 GPT 모델들 file [1] 봄눈 2021-11-21 3337
네이버 영화 리뷰 감정 분석 깊은바다 2018-09-07 3292
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 3269
딥러닝으로 챗봇 만들기 깊은바다 2017-05-03 3173
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 3170
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 3142
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 3091
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 3022
목록
쓰기