레플리
글 수 220

Transformer 구조에 대해서 질문하나 드립니다.

조회 수 177 추천 수 0 2019.01.15 11:19:21


BERT 논문에서 말하기를

 

Transformer의 encoder 부분은 bidirectional이고

 

decoder 부분은 left-to-right의 unidirectional이라고 합니다.

 

이게 잘 이해가 안되서

 

혹시 왜 encoder가 bidirectional인지, decoder는 왜 left-to-right인지 지식 공유해주시면 감사하겠습니다!

엮인글 :

깊은바다

2019.01.16 02:15:39
*.207.106.177

인코더의 bidirectional은 lstm처럼 왼쪽, 오른쪽 두번 학습하는 건 아닙니다. 트랜스포머는 기본적으로 양쪽 레이어의 모든 노드들이 연결되어 있는데요. 그렇기 때문에 자연스럽게 bidirectional이 됩니다. 예를 들어, "나는 너를 사랑해" -> "나는 너를 사랑해"로 셀프 어텐션을 하게 되면 위쪽 레이어의 '너를'은 아래쪽 '나는/너를/사랑해'와 연결되어 있습니다. 그래서 문장 양쪽의 정보를 모두 참조합니다.

 

인코더는 입력에서 모두 문장을 한번에 입력 받습니다. 반면에 디코더는 한번에 한 단어만 출력되고 이를 계속 반복합니다. 이때 단어를 뽑아낼때 현재 위치 이전의 단어만 참조합니다. 예를 들어, 인코더 "나는 너를 사랑해" -> 디코더 "나도 너를 좋아해"를 보겠습니다. 디코더에서 '너를'을 출력할때 '나도'만 참고합니다. 인코더처럼 '나도/너를/좋아해'를 동시에 참고하지 않습니다. 사실 '너를/좋아해'는 아직 출력되지 않았기 때문에 당연합니다. 이를 위해 masked multiheader attention 기법을 사용합니다. 현재 단어에서 오른쪽 노드들을 마스킹하고 사용하지 않습니다. 그래서 left-to-right라 볼 수 있습니다.

 

아래 링크에서 자세한 내용을 참고하시기 바랍니다.

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

http://jalammar.github.io/illustrated-transformer/

 

List of Articles
제목 글쓴이 날짜sort 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
오픈 컨트리뷰터의 코드 참고법에 대해 질문드립니다. [2] Roger 2020-10-19 109
딥러닝을 위한 레이블링 질문입니다. [1] Jang 2020-10-15 152
안녕하세요 가입인사드리며 질문도 하나 여쭙겠습니다. [2] 병쥐 2020-10-15 128
제가 만든 ai fitness 사이트 어떤 가요? 처음 만듬 [1] sdfsdf 2020-09-28 233
장고와 카카오 i 오픈 빌더 사용법 질문 ㅠㅠ file [1] 애뚱이 2020-09-19 320
[질문]학습과정에서의 Ram [2] 삽질만하네 2020-09-12 420
말 만들어주는 인공지능 만들었어요! [1] mail 2020-09-08 279
감성 AI 챗봇 문의드립니다. [2] 아임둥 2020-09-06 222
seq2seq train과 test 분리에 대한 질문 [4] Nike 2020-09-03 116
가입 인사드립니다. [2] 민주아빠 2020-08-04 121
개인 신분으로 연구 데이터(human3.6m)에 대한 접근 YONGS 2020-06-10 501
카카오톡 '나는 원숭이다' 해킹 사건의 전말 깊은바다 2020-05-23 1787
경사하강법 질문있습니다! [3] 평범한공대생 2020-04-29 216
신경망 관련 질문 드립니다. [1] 엄고 2020-04-28 144
객체 인식관련 질문드립니다. [1] harrym 2020-04-20 162