레플리
글 수 218

seq2seq train과 test 분리에 대한 질문

조회 수 116 추천 수 0 2020.09.03 11:03:13


seq2seq모델을 이용해서

챗봇을 개발하려고 합니다.

그런데 서비스화하려고 생각해보니

보통 구현들이

train을 돌리고 test가 합쳐져있는데

저는 train코드와 test코드를 분리해서

train코드에서 생성된 모델을

teat코드를 이용해 서비스에서 사용하고 싶습니다.

 

하지만 이런식으로 train과 test분리된 자료가 없어

분리하는 방법을 모르겠습니다..

 

선형회귀 모델을 예로들면

train.py에서 학습을 진행하고 모델을 저장해서

test.py에서 모델을 로드에서 model.predict(x,y)하는 방식이 쉽게 적용되는데

seq2seq는 어떤식으로 분리하여 개발할 수 있을까요 ?

엮인글 :

깊은바다

2020.09.04 12:40:12
*.68.248.98

간단한 seq2seq 예제들은 훈련 모델을 그대로 사용해서 예측을 하기도 합니다. 예측시 입력을 [Start, Pad, Pad, ...] 이런 식으로 패딩을 넣어서 한 번에 모든 타임스텝을 돌립니다. 사실 이렇게 하면 안되고 훈련과 예측 모델을 별도로 구현해야 합니다. 

 

훈련시에는 LSTM에서 모든 타임스텝을 한 번에 자동으로 진행합니다. 반면에 예측시에는 LSTM을 타임스텝 1번씩만 돌립니다. 그리고 그 결과를 저장해서 새로 LSTM을 초기화하고 다음 타임스텝을 반복적으로 실행합니다. 이렇게 해야만 이전 타임스텝의 출력 단어를 다음 타임스텝의 입력으로 넣을 수 있습니다.

 

http://aidev.co.kr/chatbotdeeplearning/7921

 

위의 예제는 훈련과 예측 모델을 분리하여 구현했습니다. 참고하시기 바랍니다.

Nike

2020.09.04 13:26:13
*.133.55.106

조언 감사합니다.

하지만 알려주신 코드 또한

예측모델을 생성할때 이미 학습된 상태의 훈련모델을 이용해서 생성하는데

이 경우도 결국 .fit()이 진행된 코드 내부에 예측모델이 있어야 생성할 수 있는 것 아닌가요 ?

 

저는 train.py로 .h5 사전학습된 모델을 생성해서 test.py에서 .h5를 로드 후 질문 -> 답변 이라는 결과물을 얻고 싶습니다. 이는 불가능한 건가요 ?

Nike

2020.09.04 14:43:59
*.133.55.106

감사합니다 이것저것해보니 해결한것 같습니다 !!!!

냥냥

2021.11.14 19:15:58
*.7.24.187

혹시 어떤식으로 해결하셨는지 알 수 있을까요? 비슷한 문제로 고민중에 있습니다.
List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 289
안녕하세요 가입인사드리며 질문도 하나 여쭙겠습니다. [2] 병쥐 2020-10-15 128
제가 만든 ai fitness 사이트 어떤 가요? 처음 만듬 [1] sdfsdf 2020-09-28 233
장고와 카카오 i 오픈 빌더 사용법 질문 ㅠㅠ file [1] 애뚱이 2020-09-19 320
[질문]학습과정에서의 Ram [2] 삽질만하네 2020-09-12 420
말 만들어주는 인공지능 만들었어요! [1] mail 2020-09-08 279
감성 AI 챗봇 문의드립니다. [2] 아임둥 2020-09-06 222
seq2seq train과 test 분리에 대한 질문 [4] Nike 2020-09-03 116
가입 인사드립니다. [2] 민주아빠 2020-08-04 121
개인 신분으로 연구 데이터(human3.6m)에 대한 접근 YONGS 2020-06-10 501
카카오톡 '나는 원숭이다' 해킹 사건의 전말 깊은바다 2020-05-23 1786
경사하강법 질문있습니다! [3] 평범한공대생 2020-04-29 215
신경망 관련 질문 드립니다. [1] 엄고 2020-04-28 144
객체 인식관련 질문드립니다. [1] harrym 2020-04-20 162
가입인사 드립니다. [1] 홍라이코스 2020-03-24 185
가입 인사 겸 질문입니다. file [1] 초보개발자입니다 2020-01-06 328