인코더의 bidirectional은 lstm처럼 왼쪽, 오른쪽 두번 학습하는 건 아닙니다. 트랜스포머는 기본적으로 양쪽 레이어의 모든 노드들이 연결되어 있는데요. 그렇기 때문에 자연스럽게 bidirectional이 됩니다. 예를 들어, "나는 너를 사랑해" -> "나는 너를 사랑해"로 셀프 어텐션을 하게 되면 위쪽 레이어의 '너를'은 아래쪽 '나는/너를/사랑해'와 연결되어 있습니다. 그래서 문장 양쪽의 정보를 모두 참조합니다.
인코더는 입력에서 모두 문장을 한번에 입력 받습니다. 반면에 디코더는 한번에 한 단어만 출력되고 이를 계속 반복합니다. 이때 단어를 뽑아낼때 현재 위치 이전의 단어만 참조합니다. 예를 들어, 인코더 "나는 너를 사랑해" -> 디코더 "나도 너를 좋아해"를 보겠습니다. 디코더에서 '너를'을 출력할때 '나도'만 참고합니다. 인코더처럼 '나도/너를/좋아해'를 동시에 참고하지 않습니다. 사실 '너를/좋아해'는 아직 출력되지 않았기 때문에 당연합니다. 이를 위해 masked multiheader attention 기법을 사용합니다. 현재 단어에서 오른쪽 노드들을 마스킹하고 사용하지 않습니다. 그래서 left-to-right라 볼 수 있습니다.
인코더의 bidirectional은 lstm처럼 왼쪽, 오른쪽 두번 학습하는 건 아닙니다. 트랜스포머는 기본적으로 양쪽 레이어의 모든 노드들이 연결되어 있는데요. 그렇기 때문에 자연스럽게 bidirectional이 됩니다. 예를 들어, "나는 너를 사랑해" -> "나는 너를 사랑해"로 셀프 어텐션을 하게 되면 위쪽 레이어의 '너를'은 아래쪽 '나는/너를/사랑해'와 연결되어 있습니다. 그래서 문장 양쪽의 정보를 모두 참조합니다.
인코더는 입력에서 모두 문장을 한번에 입력 받습니다. 반면에 디코더는 한번에 한 단어만 출력되고 이를 계속 반복합니다. 이때 단어를 뽑아낼때 현재 위치 이전의 단어만 참조합니다. 예를 들어, 인코더 "나는 너를 사랑해" -> 디코더 "나도 너를 좋아해"를 보겠습니다. 디코더에서 '너를'을 출력할때 '나도'만 참고합니다. 인코더처럼 '나도/너를/좋아해'를 동시에 참고하지 않습니다. 사실 '너를/좋아해'는 아직 출력되지 않았기 때문에 당연합니다. 이를 위해 masked multiheader attention 기법을 사용합니다. 현재 단어에서 오른쪽 노드들을 마스킹하고 사용하지 않습니다. 그래서 left-to-right라 볼 수 있습니다.
아래 링크에서 자세한 내용을 참고하시기 바랍니다.
https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
http://jalammar.github.io/illustrated-transformer/