레플리
글 수 72

나이브 베이즈로 스팸 분류

조회 수 909 추천 수 0 2018.04.15 15:46:13


 

http://gomguard.tistory.com/69

 

 

 

인공지능을 활용한 대표적인 방법으로 스팸 분류를 들 수 있습니다. 여기서 사용된 알고리즘은 바로 나이브 베이즈입니다. 베이즈 확률이란 어떤 정보가 주어졌을때 확률이 변하는 것을 의미합니다.

 

예를 들어, 트럼프 카드에서 스페이스 무늬가 나올 확률은 1/4입니다. 하지만 카드를 살짝 보니 검정색이었다는 정보를 얻었다면 1/2로 확률이 변합니다.

 

이렇게 조건이 주어졌을때 확률을 구하는 방법이 베이즈 정리입니다. 특히 이를 단순화한 나이브 베이즈를 많이 사용합니다.

 

P(A|B) = P(B|A)P(A)/P(B)

 

 

 

문서가 스팸인지를 알고 싶다면 P(스팸|문서)의 확률을 구해야 합니다. 이 확률은 구하기 어렵지만 P(문서|스팸)은 데이터셋을 통해서 얻을 수가 있습니다.

 

문서는 단어들의 집합이기 때문에 다음과 같이 변경할 수 있습니다. P(단어1|스팸)*P(단어2|스팸)*P(단어3|스팸)*... 각각의 확률은 스팸으로 분류된 전체 문서들의 단어의 개수에서 특정 단어의 개수를 구해 계산할 수 있습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
나이브 베이즈로 스팸 분류 깊은바다 2018-04-15 909
음성인식 방법과 카카오i의 음성형엔진 깊은바다 2018-04-09 661
엑소브레인 자연어 질의응답 기술 file 깊은바다 2018-03-25 627
왓슨 컴퓨터의 인공지능 소개 깊은바다 2018-03-25 836
자연어처리의 개념 깊은바다 2018-03-24 1930
단어 간 유사도 파악 방법 깊은바다 2018-02-01 2854
네이버 사용자를 만족시켜라 - 의도파악과 의미검색 깊은바다 2018-01-28 2664
머신러닝으로 쏟아지는 유저 CS 답변하기 깊은바다 2018-01-26 681
파이썬으로 3줄 요약기 만들기 깊은바다 2018-01-19 10808
한글 NLP with Python - KoNLPy 사용법 [2] 깊은바다 2017-12-08 4028
공공 인공지능 오픈 API·DATA 서비스 포털 깊은바다 2017-11-29 1379
개인 성격 분석(Watson Personality Insights) 데모 file 깊은바다 2017-10-02 2811
문서에서 핵심 단어를 찾는 TF-IDF 알고리즘 file 깊은바다 2017-09-07 4252
문서의 카테고리를 분류할 수 있는 나이브 베이즈 알고리즘 깊은바다 2017-08-31 1881
KoNLPy - 파이썬 한국어 NLP 깊은바다 2017-06-14 1693