레플리
글 수 72

나이브 베이즈로 스팸 분류

조회 수 910 추천 수 0 2018.04.15 15:46:13


 

http://gomguard.tistory.com/69

 

 

 

인공지능을 활용한 대표적인 방법으로 스팸 분류를 들 수 있습니다. 여기서 사용된 알고리즘은 바로 나이브 베이즈입니다. 베이즈 확률이란 어떤 정보가 주어졌을때 확률이 변하는 것을 의미합니다.

 

예를 들어, 트럼프 카드에서 스페이스 무늬가 나올 확률은 1/4입니다. 하지만 카드를 살짝 보니 검정색이었다는 정보를 얻었다면 1/2로 확률이 변합니다.

 

이렇게 조건이 주어졌을때 확률을 구하는 방법이 베이즈 정리입니다. 특히 이를 단순화한 나이브 베이즈를 많이 사용합니다.

 

P(A|B) = P(B|A)P(A)/P(B)

 

 

 

문서가 스팸인지를 알고 싶다면 P(스팸|문서)의 확률을 구해야 합니다. 이 확률은 구하기 어렵지만 P(문서|스팸)은 데이터셋을 통해서 얻을 수가 있습니다.

 

문서는 단어들의 집합이기 때문에 다음과 같이 변경할 수 있습니다. P(단어1|스팸)*P(단어2|스팸)*P(단어3|스팸)*... 각각의 확률은 스팸으로 분류된 전체 문서들의 단어의 개수에서 특정 단어의 개수를 구해 계산할 수 있습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
파이썬과 커뮤니티와 한국어 오픈데이터 - KoNLPy의 탄생배경 깊은바다 2019-11-11 942
검색을 통해 지식그래프를 바로 생성하는 알고리즘 file 깊은바다 2019-08-02 3052
NLTK 개발자들이 직접 쓴 자연어처리 책의 공개 버전 깊은바다 2019-07-02 1259
WordPiece와 BPE(Byte Pair Encoding) 깊은바다 2019-06-17 4742
스마트 스피커에서의 음악 재생 발화 오류 교정 file 깊은바다 2019-03-28 407
한국어 MRC 연구를 위한 표준 데이터셋(KorQuAD) 소개 및 B2B를 위한 MRC 연구 사례 깊은바다 2019-03-10 967
메이템 가상비서 앱 자연어처리 모듈 개발 file [1] 깊은바다 2019-01-31 828
토론하는 인공지능 - IBM Project Debater file 깊은바다 2019-01-16 579
인공지능이 법률 문서를 검토한다면? 깊은바다 2019-01-09 795
TextRank 기법을 이용한 핵심 어구 추출 및 텍스트 요약 file 깊은바다 2018-12-28 3229
한국어 자연어처리 데이터셋 - KorQuAD 깊은바다 2018-12-21 4725
자연어 관련 데이터셋 사이트 - AI 오픈 이노베이션 허브 file 깊은바다 2018-12-03 1451
네이버 검색과 개인화 깊은바다 2018-11-20 619
NUGU Knowledge Base - 지식베이스 깊은바다 2018-11-10 1031
텍스트 분석을 자동으로 해주는 서비스 - KoALA 깊은바다 2018-10-31 2088