- AI Dev - 인공지능 개발자 모임
- 추천도서
< 목차 >
- 1. 문자열을 사용한 작업
- 2. 통계 언어 모델링
- 3. 형태학 - 시작하기
- 4. 품사 태깅 - 단어 식별
- 5. 파싱 - 훈련 데이터 분석
- 6. 의미 분석 - 본질 표현
- 7. 감정 분석 - 나는 행복하다
- 8. 정보 검색 - 정보 접속
- 9. 담화 분석 - 아는 것은 믿는 것이다
- 10. NLP 시스템의 평가 - 성능 분석
파이썬의 자연어처리 모듈인 NLTK(Natural Language Took Kit)의 사용법을 다루고 있습니다. 자연어처리 관련 책이 거의 없어 기대를 많이 했는데 실망스러웠습니다.
설명이 거의 없고 코드만 쭉 나열하고 있습니다. 코드가 어떤 역할을 하는지 알려주지도 않습니다. 아마 전체 책에서 코드만 2/3 정도인 것 같습니다.
그냥 자연어처리가 어떤 방식으로 이루어져 있는지 개념 정도만 파악하는게 아니라면 자세한 정보를 얻는데는 큰 도움이 되지 않을 듯 합니다.
전체적인 책의 내용을 요약하면 다음과 같습니다.
< 자연어처리 순서 >
1. 전처리 - 불용어(stop word) 및 특수기호 제거.
2. 형태소분석 - 문장을 형태소 단위로 분류. 동사의 경우 어간추출(stemming).
3. 구문분석 - 동사구, 명사구 등 문장의 구조 파악. 부사구 등 중요하지 않은 부분 제거.
4. 의미분석 - 문장의 의미 파악. 챗봇의 경우 의도(intent)와 개체(entiry) 추출 단계.
5. 담화분석 - 여러 문장 사이의 문맥을 이해.
< 자연어처리 활용분야 >
- 문서 분류
- 문서 요약
- 검색
- 질의응답
- 감정 분석
- 챗봇 / 음성비서