레플리
글 수 220

Transformer 구조에 대해서 질문하나 드립니다.

조회 수 177 추천 수 0 2019.01.15 11:19:21


BERT 논문에서 말하기를

 

Transformer의 encoder 부분은 bidirectional이고

 

decoder 부분은 left-to-right의 unidirectional이라고 합니다.

 

이게 잘 이해가 안되서

 

혹시 왜 encoder가 bidirectional인지, decoder는 왜 left-to-right인지 지식 공유해주시면 감사하겠습니다!

엮인글 :

깊은바다

2019.01.16 02:15:39
*.207.106.177

인코더의 bidirectional은 lstm처럼 왼쪽, 오른쪽 두번 학습하는 건 아닙니다. 트랜스포머는 기본적으로 양쪽 레이어의 모든 노드들이 연결되어 있는데요. 그렇기 때문에 자연스럽게 bidirectional이 됩니다. 예를 들어, "나는 너를 사랑해" -> "나는 너를 사랑해"로 셀프 어텐션을 하게 되면 위쪽 레이어의 '너를'은 아래쪽 '나는/너를/사랑해'와 연결되어 있습니다. 그래서 문장 양쪽의 정보를 모두 참조합니다.

 

인코더는 입력에서 모두 문장을 한번에 입력 받습니다. 반면에 디코더는 한번에 한 단어만 출력되고 이를 계속 반복합니다. 이때 단어를 뽑아낼때 현재 위치 이전의 단어만 참조합니다. 예를 들어, 인코더 "나는 너를 사랑해" -> 디코더 "나도 너를 좋아해"를 보겠습니다. 디코더에서 '너를'을 출력할때 '나도'만 참고합니다. 인코더처럼 '나도/너를/좋아해'를 동시에 참고하지 않습니다. 사실 '너를/좋아해'는 아직 출력되지 않았기 때문에 당연합니다. 이를 위해 masked multiheader attention 기법을 사용합니다. 현재 단어에서 오른쪽 노드들을 마스킹하고 사용하지 않습니다. 그래서 left-to-right라 볼 수 있습니다.

 

아래 링크에서 자세한 내용을 참고하시기 바랍니다.

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

http://jalammar.github.io/illustrated-transformer/

 

List of Articles
제목 글쓴이 날짜 조회 수sort
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
안녕하세요 챗봇 관련해서 질문있습니다. [3] 된장찌개 2020-01-02 232
안녕하세요. 사지방컴입니다. 정말 오랜만에 글 작성합니다. [2] 사지방컴 2019-12-19 231
사지방컴입니다. 신경망 라이브러리 깃헙링크입니다. [1] 사지방컴 2020-01-01 224
MS, AI 채팅봇 개발도구 공개 깊은바다 2016-04-01 223
딥러닝에 대한 질문드려용 [1] 병쥐 2021-05-17 222
감성 AI 챗봇 문의드립니다. [2] 아임둥 2020-09-06 222
ai(인공지능)개발자 찾습니다 바요 2017-08-04 220
영화 패신저스의 대화 인터페이스 깊은바다 2018-10-03 219
경사하강법 질문있습니다! [3] 평범한공대생 2020-04-29 216
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 210
데이터 종류에 대해서 궁금합니다. [2] 노력하는돌 2021-03-22 204
안녕하세요 seq2seq에 대한 질문 있습니다... [2] jjdh 2018-05-31 203
[질문] Mnist가 아닌 제가 가진 이미지셋으로 GAN 구현 중 질문 드립니다 file [2] 하얀천사 2018-10-31 201
깊은바다님께 깊은 자문을 구하고싶습니다. [2] wcchoi95 2017-11-29 199
딥러닝을 이용한 사운드 생성 관련 질문 [2] NeuroWhAI 2019-02-03 198