레플리
글 수 72

나이브 베이즈로 스팸 분류

조회 수 910 추천 수 0 2018.04.15 15:46:13


 

http://gomguard.tistory.com/69

 

 

 

인공지능을 활용한 대표적인 방법으로 스팸 분류를 들 수 있습니다. 여기서 사용된 알고리즘은 바로 나이브 베이즈입니다. 베이즈 확률이란 어떤 정보가 주어졌을때 확률이 변하는 것을 의미합니다.

 

예를 들어, 트럼프 카드에서 스페이스 무늬가 나올 확률은 1/4입니다. 하지만 카드를 살짝 보니 검정색이었다는 정보를 얻었다면 1/2로 확률이 변합니다.

 

이렇게 조건이 주어졌을때 확률을 구하는 방법이 베이즈 정리입니다. 특히 이를 단순화한 나이브 베이즈를 많이 사용합니다.

 

P(A|B) = P(B|A)P(A)/P(B)

 

 

 

문서가 스팸인지를 알고 싶다면 P(스팸|문서)의 확률을 구해야 합니다. 이 확률은 구하기 어렵지만 P(문서|스팸)은 데이터셋을 통해서 얻을 수가 있습니다.

 

문서는 단어들의 집합이기 때문에 다음과 같이 변경할 수 있습니다. P(단어1|스팸)*P(단어2|스팸)*P(단어3|스팸)*... 각각의 확률은 스팸으로 분류된 전체 문서들의 단어의 개수에서 특정 단어의 개수를 구해 계산할 수 있습니다.

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
APEACH – 혐오 발화 평가데이터를 만드는 새로운 방법 깊은바다 2022-04-22 1103
윈도우에서 간편하게 Mecab 설치방법 - pyeunjeon 깊은바다 2021-06-15 500
자연어처리 벤치마크 GLUE의 한글 버전인 KLUE 공개 file 깊은바다 2021-05-22 690
모두의 말뭉치에 새로운 일상 대화 추가 file 깊은바다 2021-04-06 562
자연어처리 벤치마크인 SuperGLUE도 인간의 기록을 경신 [1] 깊은바다 2021-01-21 550
한국어 문장 분리기, KSS(Korean Sentence Splitter) 파이썬 포팅 file 깊은바다 2020-12-23 6175
파이썬 한국어 말뭉치 패키지 - Korpora file 깊은바다 2020-09-12 1513
세종 말뭉치보다 9배 더 큰 한글 코퍼스 공개 - 모두의 말뭉치 file 깊은바다 2020-08-27 3158
한국어 전처리 기법 모음 깊은바다 2020-07-31 4539
예일대의 자연어-SQL 데이터셋, Spider 깊은바다 2020-07-12 531
IBM 왓슨의 자연어처리 방식 깊은바다 2020-06-26 626
매주 한편씩 글을 작성하는 자연어처리 블로그 - 위클리 NLP 깊은바다 2020-06-12 1131
인간의 언어를 이해하는 기계, NLU에는 어떤 것이 있을까? 깊은바다 2020-06-05 417
한글 자모 분리 및 합치기 파이썬 패키지 [1] 깊은바다 2020-03-03 3246
Machine Learning for Kids로 감정분석 깊은바다 2020-02-09 932