레플리
글 수 281

문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명

조회 수 7326 추천 수 0 2017.09.15 04:24:29


https://tensorflowkorea.gitbooks.io/tensorflow-kr/content/g3doc/tutorials/seq2seq/

 

 

 

Seq2Seq는 RNN을 사용해서 문장을 학습할 수 있는 모델입니다. 여러가지 문서를 찾아봤는데 위의 링크가 그중에서 가장 잘 설명하고 있는 것 같습니다. 

 

 

 

basic_seq2seq.png

 

Seq2Seq는 2개의 RNN 셀로 구성됩니다. 위 그림에서 ABC를 입력으로 받는 것이 인코더 RNN 셀이고 오른쪽의 <go>WXYZ를 입력으로 받는 것이 디코더 RNN 셀입니다.

 

그림에서는 모두 8개의 셀이 있지만 실제로는 2개의 인코더와 디코더 셀만 존재합니다. RNN은 자신의 출력도 입력으로 받기 때문에 위 그림은 순차적인 입력을 풀어서 표현한 것입니다.

 

 

 

ABC라고 입력하면 WXYZ라고 대답하도록 훈련하고 싶다면 인코더에 ABC를 순서대로 집어넣습니다. 그리고 <go>WXYZ를 디코더에 순차적으로 입력하고 각각 출력이 WXYZ<eos>가 되도록 학습합니다.

 

정리하자면 ABC<go>WXYZ -> ___WXYZ<eos>으로 훈련을 시킨다고 보시면 됩니다. 여기서 <go>는 문장의 시작을, <eos>는 문장의 끝을 나타냅니다. 그리고 각 단어는 Word2Vec 같은 방법을 사용해서 벡터로 표현합니다.

 

 

 

이렇게 트레이닝이 된 모델을 사용해서 문장을 예측할 수 있습니다. ABC라고 인코더에 순차적으로 입력하고 디코더에 <go>를 넣은후 그 출력인 W를 다음번 입력으로 합니다. 

 

이렇게 반복해서 디코더에 넣다가 <eos>가 나오면 종료합니다. 디코더의 출력을 합치면 WXYZ<eos>의 답변문장을 구할 수 있습니다.

 

 

 

보다 자세한 사항은 아래의 챗봇 구현 코드를 참고하시기 바랍니다.

 

딥러닝 RNN으로 구현한 챗봇

-> http://aidev.co.kr/chatbot/1852

 

 

 

< 챗봇 개발자 모임 >

- 페이스북 그룹에 가입하시면 챗봇에 대한 최신 정보를 쉽게 받으실 수 있습니다.

https://www.facebook.com/groups/ChatbotDevKR/

List of Articles
제목 글쓴이 날짜sort 조회 수
생성 에이전트를 ChatGPT 프롬프트만으로 구현 file 깊은바다 2023-04-20 262
GPT가 스스로 계획을 세워서 실행한다면 - AutoGPT와 LangChain file 깊은바다 2023-04-18 1417
ChatGPT 플러그인으로 만든 TODO 예제 file 깊은바다 2023-04-18 196
한국어 초거대AI가 필요한 이유 - 토크나이저와 한국어 콘텐츠 깊은바다 2023-04-17 263
심즈와 비슷한 가상세계를 ChatGPT로 구현 - 생성 에이전트(Generative Agents) file 깊은바다 2023-04-14 1636
ChatGPT 플러그인 전략 및 생태계 변화 전망 file 깊은바다 2023-04-09 1814
ChatGPT 원티드 플러그인 사용 화면 file 깊은바다 2023-04-07 277
GPT-3, InstructGPT, GPT-3.5, ChatGPT의 차이점 깊은바다 2023-04-05 1291
ChatGPT의 오픈소스 버전 - ColossalChat file 깊은바다 2023-03-30 498
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 623
ChatGPT를 앱스토어 같은 플랫폼으로 확장 - ChatGPT 플러그인 file 깊은바다 2023-03-24 347
딥마인드의 데미스 하사비스, AGI는 신중한 접근 필요 깊은바다 2023-03-22 146
GPT-4 수능 국어영역에서 3등급(상위 17%) 달성 깊은바다 2023-03-21 330
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 613
MS의 CTO인 Kevin Scott과 OpenAI와의 협업 깊은바다 2023-03-17 81