글 수 138

Transformer 구조에 대해서 질문하나 드립니다.

조회 수 98 추천 수 0 2019.01.15 11:19:21


BERT 논문에서 말하기를

 

Transformer의 encoder 부분은 bidirectional이고

 

decoder 부분은 left-to-right의 unidirectional이라고 합니다.

 

이게 잘 이해가 안되서

 

혹시 왜 encoder가 bidirectional인지, decoder는 왜 left-to-right인지 지식 공유해주시면 감사하겠습니다!






엮인글 :

깊은바다

2019.01.16 02:15:39
*.207.106.177

인코더의 bidirectional은 lstm처럼 왼쪽, 오른쪽 두번 학습하는 건 아닙니다. 트랜스포머는 기본적으로 양쪽 레이어의 모든 노드들이 연결되어 있는데요. 그렇기 때문에 자연스럽게 bidirectional이 됩니다. 예를 들어, "나는 너를 사랑해" -> "나는 너를 사랑해"로 셀프 어텐션을 하게 되면 위쪽 레이어의 '너를'은 아래쪽 '나는/너를/사랑해'와 연결되어 있습니다. 그래서 문장 양쪽의 정보를 모두 참조합니다.

 

인코더는 입력에서 모두 문장을 한번에 입력 받습니다. 반면에 디코더는 한번에 한 단어만 출력되고 이를 계속 반복합니다. 이때 단어를 뽑아낼때 현재 위치 이전의 단어만 참조합니다. 예를 들어, 인코더 "나는 너를 사랑해" -> 디코더 "나도 너를 좋아해"를 보겠습니다. 디코더에서 '너를'을 출력할때 '나도'만 참고합니다. 인코더처럼 '나도/너를/좋아해'를 동시에 참고하지 않습니다. 사실 '너를/좋아해'는 아직 출력되지 않았기 때문에 당연합니다. 이를 위해 masked multiheader attention 기법을 사용합니다. 현재 단어에서 오른쪽 노드들을 마스킹하고 사용하지 않습니다. 그래서 left-to-right라 볼 수 있습니다.

 

아래 링크에서 자세한 내용을 참고하시기 바랍니다.

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

http://jalammar.github.io/illustrated-transformer/

 

List of Articles
제목 글쓴이 날짜 조회 수
Dialogflow 질문입니다. [2] HELATHLAB 2019-02-22 130
end-to-end 챗봇 질문 [1] 배수진종결자 2019-02-20 106
안녕하세요 챗봇을 공부하고 있는 학생입니다. [2] 초보개발 2019-02-20 137
lambda에 올린 코드 [1] 챗봇딥러닝가자 2019-02-08 112
딥러닝을 이용한 사운드 생성 관련 질문 [2] NeuroWhAI 2019-02-03 79
안녕하세요~ 궁금하게있어요 [1] 챗봇딥러닝가자 2019-01-31 63
안녕하세요, 카카오 i 오픈빌더에 대해서 질문이 있습니다. [2] 아라하타마하 2019-01-19 151
Transformer 구조에 대해서 질문하나 드립니다. [1] 김만수 2019-01-15 98
합성곱신경망의 패딩에 관한 질문 [2] 디쁘러닝 2019-01-10 73
딥러닝으로 빵의 가격을 자동으로 계산하는 인공지능 깊은바다 2019-01-06 171
케라스 창시자에게 배우는 딥러닝 카미오레오 2018-12-07 122
Seq2Seq에 Attention 구현 성공했습니다! [2] NeuroWhAI 2018-12-04 187
어텐션 매커니즘 구현하기 너무 힘드네요 ㅠ [1] NeuroWhAI 2018-12-02 98
한국어 구사 데이타 사이언티스트 채용 실력? 뜨자떠야한다 2018-11-28 107
서지민의 인공신경망 라이브러리 업데이트 1.1 [2] 사지방컴 2018-11-27 77