레플리
글 수 72

마르코프 체인을 사용한 자동 문장 생성

조회 수 8959 추천 수 0 2017.04.05 12:28:21


markov chain picture.png

 

마르코프 체인은 이전 상태가 다음 상태에 영향을 주는 것을 말합니다. 1개 또는 n개의 이전 상태가 주어졌을때 다음 상태가 나올 확률을 계산할 수 있습니다.

 

이를 사용하여 문장을 자동으로 생성하는 것이 가능합니다. 전체 텍스트를 검사하여 각각 단어에서 다음 단어가 나타나는 확률을 모두 구합니다. 그리고 특정 단어로 시작하여 가장 높은 확률의 단어를 계속 선택하여 문장을 만들 수 있습니다.

 

 

 

https://github.com/codebox/markov-text

 

위의 링크는 파이썬으로 자동 문장 생성을 구현한 프로그램입니다. 윤동주의 시 30편 정도를 txt 파일로 만들어 다음과 같이 파싱을 하였습니다.

 

>> python markov.py parse model 2 poem.txt

 

poem.txt를 읽어서 2단계 마르코프 체인으로 확률을 계산하여 model.db로 저장합니다.

 

>> python markov.py gen model 10

 

그리고 model.db를 사용하여 다음과 같은 10개의 문장을 생성하였습니다.

 

 

 

-----------------------------------------------------------------

나한테는 병이 없다고 한다
담은 쇠문을 굳게 닫아 길 민들레가 피고 까치가 날고 아저씨가 지나고 나의 거울을 손바닥으로 발바닥으로 닦아 보자 그러면 어느 쪼그만 정거장에서 희망과 사랑처럼 기차를 기다려, 나는 성내서는 안 된다
소학교 때 책상을 같이 했던 아이들의 이름과, 가난한 이웃 사람들의 이름과, 패, 경, 옥 이런 이국 소녀들의 이름과 벌써 애기 바람이 일고 나의 청춘이 다하지 않은 살구나무 가지에는 바람조차 없다

어쩐지 그 여자의 건강이 - 아니 내 노래는 오히려 설운 산울림
발걸음을 멈추어 살그머니 앳된 손을 잡으며 너는 자라 무엇이 되려니」 사람이 되지」 아우의 얼굴을 다시 손바닥을 들여다본다
담은 쇠문을 굳게 닫아 길 위에 파란 잔디가 피어나듯이 내 한 마디씩 불러 봅니다
한나절이 기울도록 가슴을 앓는다는 이 여자를 찾아오는 이, 나비 한 줄의 참회록을 써야 한다
-----------------------------------------------------------------

 

 

 

많이 어색하긴 하지만 상당히 그럴듯한 문장들이 만들어 졌습니다. 원본 텍스트가 작아서 그런데 데이터가 크면 좀 더 자연스러운 문장이 나올 것 같습니다.

 

 

 

< 챗봇 개발자 모임 >

- 페이스북 그룹에 가입하시면 챗봇에 대한 최신 정보를 쉽게 받으실 수 있습니다.

https://www.facebook.com/groups/ChatbotDevKR/

List of Articles
제목 글쓴이 날짜 조회 수sort
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10805
마르코프 체인을 사용한 자동 문장 생성 file 깊은바다 2017-04-05 8959
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6105
한국어 채팅 데이터로 머신러닝 하기 깊은바다 2018-04-25 6086
자연어(NLP) 처리 기초 정리 깊은바다 2018-10-22 5766
자바 형태소 분석기 open-korean-txt 깊은바다 2017-04-11 5418
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4722
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4717
한국어 전처리 기법 모음 깊은바다 2020-07-31 4523
빠르고 성능 좋은 형태소분석기 MeCab-Ko 깊은바다 2017-05-02 4422
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4235
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
노가다 없는 텍스트 분석을 위한 한국어 NLP 깊은바다 2018-04-26 3902
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3220
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3203