레플리
글 수 72

파이썬으로 3줄 요약기 만들기

조회 수 10812 추천 수 0 2018.01.19 04:18:57


설명 :  http://blog.theeluwin.kr/post/146188165713/summariz3

테스트 : https://summariz3.herokuapp.com/

 

 

 

현재 다음이나 네이버 뉴스를 보면 자동요약 기능이 있습니다.

긴 문장을 2~3 문장으로 짧게 줄여주어 쉽게 내용을 파악할 수 있게 해줍니다.

이런 기능을 간단하게 파이썬으로 구현한 글입니다.

 

요약을 하기 위한 가장 단순한 방법은 전체 문서에서 가장 중요한 문장을 찾는 것입니다.

대표적으로는 TF-IDF(Term Frequency-Inverse Document Frequency)를 들 수 있는데

단어의 중요도를 먼저 계산한 뒤 각 단어들을 포함한 문장의 중요도를 찾을 수 있습니다.

그리고 가장 수치가 높은 문장을 고릅니다.

 

 

 

위의 글에서는 TextRank라는 알고리즘을 사용하였습니다.

구글에서 검색시 사용하는 PageRank와 비슷한데

각 문장을 Node로 설정하고 Node와 Node 사이의 연결에 가중치를 주어 문장을 뽑아냅니다.

이 연결 가중치는 두 문장에서 같은 단어를 포함하는 유사도를 측정하여 계산하였습니다.

 

이런 방법은 단순히 문장을 그대로 추출하는 것인데

더 발전하면 여러 문장의 의미를 조합하여 새로운 문장을 생성할 수도 있습니다.

영어의 경우 많이 연구되고 있지만 아직 한글은 자연어처리에 어려움이 있는 듯 합니다.

 

 

 

< 챗봇 개발자 모임 >

- 페이스북 그룹에 가입하시면 챗봇에 대한 최신 정보를 쉽게 받으실 수 있습니다.

https://www.facebook.com/groups/ChatbotDevKR/

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
파이썬과 커뮤니티와 한국어 오픈데이터 - KoNLPy의 탄생배경 깊은바다 2019-11-11 942
검색을 통해 지식그래프를 바로 생성하는 알고리즘 file 깊은바다 2019-08-02 3052
NLTK 개발자들이 직접 쓴 자연어처리 책의 공개 버전 깊은바다 2019-07-02 1259
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4742
스마트 스피커에서의 음악 재생 발화 오류 교정 file 깊은바다 2019-03-28 407
한국어 MRC 연구를 위한 표준 데이터셋(KorQuAD) 소개 및 B2B를 위한 MRC 연구 사례 깊은바다 2019-03-10 967
메이템 가상비서 앱 자연어처리 모듈 개발 file [1] 깊은바다 2019-01-31 828
토론하는 인공지능 - IBM Project Debater file 깊은바다 2019-01-16 579
인공지능이 법률 문서를 검토한다면? 깊은바다 2019-01-09 795
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
자연어 관련 데이터셋 사이트 - AI 오픈 이노베이션 허브 file 깊은바다 2018-12-03 1451
네이버 검색과 개인화 깊은바다 2018-11-20 619
NUGU Knowledge Base - 지식베이스 깊은바다 2018-11-10 1031
텍스트 분석을 자동으로 해주는 서비스 - KoALA 깊은바다 2018-10-31 2088