레플리
글 수 220

NeuroWhAI님, Seq2seq 디코딩 문제 해결하셨나요?

조회 수 169 추천 수 0 2018.04.30 02:37:18


https://github.com/haven-jeon/ko_en_neural_machine_translation/blob/master/model.py

 

 

 

저도 많이 헷갈렸는데 위의 코드를 보니까 확실히 이해가 되네요. 디코더의 임베딩 출력을 바로 사용하는 것이 아니라 Fully Connected Layer와 Softmax를 붙여서 원핫인코딩으로 출력이 나오게 하더라구요. 그래서 임베딩 할때 사용한 단어사전이 원핫인코딩으로 되어 있기때문에 어떤 단어인지 알 수가 있습니다. 

 

학습할때는 디코딩 입력을 디코딩 출력에서 가져오지 않고 데이터의 출력 문장을 임베딩하여 사용합니다. 그리고 학습후 테스트 할때는 디코딩의 출력인 원핫인코딩의 단어를 다시 임베딩한 후 디코딩의 입력으로 넣습니다.

 

def calulation()이 테스트 수행을 하는 함수이니 여기를 자세히 분석해보시면 될 것 같습니다.

 

 

 

ccba27bcf9f09f4f867586c77d1d33bb.png

 

데이터 입출력을 간단하게 정리하면 다음과 같습니다.

 

< 학습시 >

인코딩 입력 : 입력 단어 임베딩 (ABC)

디코딩 입력 : 출력 단어 임베딩 (<go>WXYZ)

디코딩 출력 : 출력 단어 원핫인코딩 (WXYZ<eos>)

 

< 테스트시 >

인코딩 입력 : 입력 단어 임베딩 (ABC)

디코딩 입력 : 디코딩 출력인 원핫인코딩을 다시 임베딩 (<go>WXYZ)

디코딩 출력 : 출력 단어 원핫인코딩 (WXYZ<eos>)


NeuroWhAI

2018.05.01 21:15:07
*.64.194.131

와우!!! 정말 감사드립니다 ㅎㅎ

NeuroWhAI

2018.05.01 21:26:57
*.64.194.131

올려주신 링크의 코드가 임베딩 문제뿐만 아니라 이것저것 많이 도움이 되네요.

날 잡고 뚫어져라 봐야겠습니다 ㅎ

깊은바다

2018.05.02 13:51:20
*.68.247.188

텐서플로 코드면 더 좋았을텐데 아쉽네요^^;

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
챗봇, 그리고 신 직업.. 어찌 생각하시나요. [4] lopez7 2018-09-05 347
초보자가 공부할만한 강화학습(DQN) 책 없을까요? [1] 딥린이 2018-08-31 531
인셉션 모델(버전 1)의 학습이 진행되고 있습니다. file [1] 딥린이 2018-08-26 183
긴글) 방학 동안 얕게나마 딥러닝 공부했던 후기 file [2] 딥린이 2018-08-24 691
질문) 텐서플로우로 구글의 인셉션 모델을 만들고 있습니다. [2] 딥린이 2018-08-17 399
여기는 처음인데 질문이 있습니다 [2] jianjian 2018-08-16 554
안녕하세요 [1] jyk12 2018-08-14 93
안녕하세요 [1] 이근섭 2018-08-08 112
질문이 있습니다. [2] 주례소년 2018-08-05 153
가입인사겸 질문입니다! [1] 핵초보개발자 2018-08-02 119
아트랙티브 전시기획자입니다 인공지능 개발자 분들에게 질문이 있어 글 남깁니다 [1] 전시기획 2018-08-01 160
'C++로 배우는 딥러닝' 책 읽어보신 분 계신가요? [2] NeuroWhAI 2018-07-31 748
[질문] 가우시안 커널을 텐서플로우로 구현할 때 궁금한게 있습니다. [5] 딥린이 2018-07-21 262
안녕하세요! [2] 주례소년 2018-07-20 65
머신러닝 해외 취업 준비 깊은바다 2018-07-20 390