레플리
글 수 218

seq2seq train과 test 분리에 대한 질문

조회 수 116 추천 수 0 2020.09.03 11:03:13


seq2seq모델을 이용해서

챗봇을 개발하려고 합니다.

그런데 서비스화하려고 생각해보니

보통 구현들이

train을 돌리고 test가 합쳐져있는데

저는 train코드와 test코드를 분리해서

train코드에서 생성된 모델을

teat코드를 이용해 서비스에서 사용하고 싶습니다.

 

하지만 이런식으로 train과 test분리된 자료가 없어

분리하는 방법을 모르겠습니다..

 

선형회귀 모델을 예로들면

train.py에서 학습을 진행하고 모델을 저장해서

test.py에서 모델을 로드에서 model.predict(x,y)하는 방식이 쉽게 적용되는데

seq2seq는 어떤식으로 분리하여 개발할 수 있을까요 ?

엮인글 :

깊은바다

2020.09.04 12:40:12
*.68.248.98

간단한 seq2seq 예제들은 훈련 모델을 그대로 사용해서 예측을 하기도 합니다. 예측시 입력을 [Start, Pad, Pad, ...] 이런 식으로 패딩을 넣어서 한 번에 모든 타임스텝을 돌립니다. 사실 이렇게 하면 안되고 훈련과 예측 모델을 별도로 구현해야 합니다. 

 

훈련시에는 LSTM에서 모든 타임스텝을 한 번에 자동으로 진행합니다. 반면에 예측시에는 LSTM을 타임스텝 1번씩만 돌립니다. 그리고 그 결과를 저장해서 새로 LSTM을 초기화하고 다음 타임스텝을 반복적으로 실행합니다. 이렇게 해야만 이전 타임스텝의 출력 단어를 다음 타임스텝의 입력으로 넣을 수 있습니다.

 

http://aidev.co.kr/chatbotdeeplearning/7921

 

위의 예제는 훈련과 예측 모델을 분리하여 구현했습니다. 참고하시기 바랍니다.

Nike

2020.09.04 13:26:13
*.133.55.106

조언 감사합니다.

하지만 알려주신 코드 또한

예측모델을 생성할때 이미 학습된 상태의 훈련모델을 이용해서 생성하는데

이 경우도 결국 .fit()이 진행된 코드 내부에 예측모델이 있어야 생성할 수 있는 것 아닌가요 ?

 

저는 train.py로 .h5 사전학습된 모델을 생성해서 test.py에서 .h5를 로드 후 질문 -> 답변 이라는 결과물을 얻고 싶습니다. 이는 불가능한 건가요 ?

Nike

2020.09.04 14:43:59
*.133.55.106

감사합니다 이것저것해보니 해결한것 같습니다 !!!!

냥냥

2021.11.14 19:15:58
*.7.24.187

혹시 어떤식으로 해결하셨는지 알 수 있을까요? 비슷한 문제로 고민중에 있습니다.
List of Articles
제목 글쓴이 날짜sort 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 289
[마감임박] 스마트농업 AI 경진대회 시상식 및 포럼 사전등록 진행 중 file GOAT 2024-02-07 95
비전공자 개발자 무료 직무교육(빅데이터/AI) / 실무기반 프로젝트, 현장실습 기회 제공 file 벡스 2024-02-01 128
[딥러닝러닝데이] AutoML을 활용한 모델 탐색-서호건 file 인공지능팩토리1 2024-01-11 135
논문 이해의 필요성(질문) [1] 썸머ai 2024-01-08 189
비전공자도 생성형 AI 활용 인공지능 개발 제대로 배우고 개념부터 활용까지 배우고 싶다면? 비트캠프 2023-12-19 135
메타버스+초거대AI 서비스 기획 공모전 file [1] 깊은바다 2023-08-16 162
음성 데이터셋 정보를 한 번에 탐색 할 수 있는 아카이브를 만들었습니다! (SODA) file ODA 2023-06-14 85
딥러닝 관련 질문 (CPU -> GPU 설정 변환후, keras-tuner 돌릴때 error 발생) J814 2023-06-14 97
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 209
안녕하세요 처음으로 만들어본 챗봇 공유해봅니다. [1] KimYH 2023-01-18 255
카카오 Kogpt 파인튜닝. [3] 영화관람권익보장 2022-11-12 2428
[질문드립니다] 전이학습 개념 관련 [2] 테리웁스 2022-08-23 830
AI 개발자, 데이터과학자 모임 오픈 채팅방 링크 공유 Dfinite 2022-07-23 798
kaggle 사이트 관련 [1] gat 2022-06-21 1020