글 수 222
안녕하세요 저는 현재 seq2seq를 이용하여 문단에서 특정 내용을 추출하여 문장을 생성하는 것을 러닝을 통해 시도해 보고자 하는 학생입니다. 새로운 문단을 통해 문장을 생성하려고 하니 원하는 문장을 추출하는데 막혀서 질문을 올리게 되었습니다..
가령 1번문단에서 1번의 문장을 추출하였고 2번문단에서 2번의 문장을 추출하는 과정의 반복을 통해 1000번문단에서 1000번의 문장까지 추출한 데이터를 통해 학습을 시켰을 때 테스트를 위해 1001번문장을 넣어주었을 때 알맞은 1001번의 문장이 나오도록 해주려면 이 1000개의 학습데이터 수를 단지
10000 혹은 그 이상으로 수만 증가시켜도
되는 것인가요, 아니면 테스트에 활용되는 문단에서 사용되는 단어가 들어있는 문단들을 위주로 더 학습을 시켜야 하는 것인가요...
가령 1번문단에서 1번의 문장을 추출하였고 2번문단에서 2번의 문장을 추출하는 과정의 반복을 통해 1000번문단에서 1000번의 문장까지 추출한 데이터를 통해 학습을 시켰을 때 테스트를 위해 1001번문장을 넣어주었을 때 알맞은 1001번의 문장이 나오도록 해주려면 이 1000개의 학습데이터 수를 단지
10000 혹은 그 이상으로 수만 증가시켜도
되는 것인가요, 아니면 테스트에 활용되는 문단에서 사용되는 단어가 들어있는 문단들을 위주로 더 학습을 시켜야 하는 것인가요...
https://ratsgo.github.io/natural%20language%20processing/2017/03/12/s2s/
이걸 참조해보시는게 좋을 것 같네요. 테스트에 활용되는 문장들 위주로 학습하는건 안될 것 같습니다. 그렇게 하면 일반적인 문장에서 결과가 잘 안나올테니까요. 링크에서도 나와있다시피 문서요약을 Seq2Seq로 하는건 성능이 좋지 않다고 합니다. 번역 같은 경우 거의 1:1 대응이 될 정도로 의미가 일치하지만, 요약은 너무 범위가 넓기 때문인 것 같습니다.