https://cpuu.postype.com/post/166917/

자연어처리는 보통 형태소분석, 구문분석, 의미분석, 문맥분석으로 구성됩니다.

형태소분석은 명사, 동사 등의 형태소로 문장을 분석합니다.

이때 동사는 '먹었다 -> 먹+었+다' 같이 어간 추출(stemming)을 같이 수행합니다.

구문분석은 명사구, 동사구 처럼 문장의 구문을 파악합니다.

같은 품사도 다른 구문에 속할 수 있습니다.

예를 들어, '사과는 맛있다'에서 '맛있다'란 동사는 동사구에 속합니다.

'맛있는 사과는 비싸다'에서는 '맛있다'란 동사가 '맛있는 사과는'이란 명사구에 속합니다.

이렇게 형태소분석과 구분문석은 큰 차이가 있습니다.

의미분석은 문장이 어떤 뜻을 가지고 있는지를 검사합니다.

챗봇의 경우 보통 의도와 개체를 파악하는 것을 의미합니다.

'불고기피자 주문할래'라는 문장에서는 의도는 '주문', 개체는 '불고기피자'라는 의미를 판단합니다.

문맥분석은 문장사이의 연결을 이해하는 것을 말합니다.

'철수는 중학생이다. 그는 서울에 산다.'에서 '그'는 '철수'라는 것을 파악할 수 있습니다.

일반적으로 구문분석은 룰베이스 기반으로 이루어집니다.

그런데 구글에서 딥러닝으로 학습하여 보다 정확하게 구문을 찾아내는 방법을 공개하였습니다.

구문분석의 가장 큰 어려움이 여러개의 구문이 가능할때 의미를 판단하여 정확한 구문을 결정하는 것입니다.

이것을 신경망을 사용하여 좀 더 직관적으로 정확하게 판단할 수 있다고 합니다.