레플리
글 수 281

구글 딥러닝 자연어 처리 오픈소스 SyntaxNet

조회 수 2779 추천 수 0 2017.12.28 11:57:54


863a0d73b2cfa5d60d1f4ba543c55862.png

 

https://cpuu.postype.com/post/166917/

 

 

 

자연어처리는 보통 형태소분석, 구문분석, 의미분석, 문맥분석으로 구성됩니다.

 

형태소분석은 명사, 동사 등의 형태소로 문장을 분석합니다.

이때 동사는 '먹었다 -> 먹+었+다' 같이 어간 추출(stemming)을 같이 수행합니다.

 

구문분석은 명사구, 동사구 처럼 문장의 구문을 파악합니다.

같은 품사도 다른 구문에 속할 수 있습니다.

예를 들어, '사과는 맛있다'에서 '맛있다'란 동사는 동사구에 속합니다.

'맛있는 사과는 비싸다'에서는 '맛있다'란 동사가 '맛있는 사과는'이란 명사구에 속합니다.

이렇게 형태소분석과 구분문석은 큰 차이가 있습니다.

 

의미분석은 문장이 어떤 뜻을 가지고 있는지를 검사합니다.

챗봇의 경우 보통 의도와 개체를 파악하는 것을 의미합니다.

'불고기피자 주문할래'라는 문장에서는 의도는 '주문', 개체는 '불고기피자'라는 의미를 판단합니다.

 

문맥분석은 문장사이의 연결을 이해하는 것을 말합니다.

'철수는 중학생이다. 그는 서울에 산다.'에서 '그'는 '철수'라는 것을 파악할 수 있습니다.

 

 

 

일반적으로 구문분석은 룰베이스 기반으로 이루어집니다.

그런데 구글에서 딥러닝으로 학습하여 보다 정확하게 구문을 찾아내는 방법을 공개하였습니다.

 

구문분석의 가장 큰 어려움이 여러개의 구문이 가능할때 의미를 판단하여 정확한 구문을 결정하는 것입니다.

이것을 신경망을 사용하여 좀 더 직관적으로 정확하게 판단할 수 있다고 합니다.

 

List of Articles
제목 글쓴이 날짜sort 조회 수
글쓰는 법을 배우는 신경망 깊은바다 2016-03-25 1536
구글의 딥러닝 대화 알고리즘 깊은바다 2016-03-25 3354
딥러닝으로 챗봇 만들기 깊은바다 2017-05-03 3169
단어를 벡터로 변환하는 Word2Vec 깊은바다 2017-05-04 1038
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2739
딥러닝 RNN으로 구현한 챗봇 깊은바다 2017-08-01 8130
End-To-End Memory Networks - 자연어 질문에 대답하는 모델 [2] 깊은바다 2017-08-21 961
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 깊은바다 2017-08-25 2579
문장을 학습하는 딥러닝 RNN의 Seq2Seq 모델 설명 file 깊은바다 2017-09-15 7326
딥러닝 기반 자연어처리 기법의 최근 연구 동향 [2] 깊은바다 2017-12-17 1018
쉽게 씌어진 Word2Vec [2] 깊은바다 2017-12-25 1177
구글 딥러닝 자연어 처리 오픈소스 SyntaxNet file 깊은바다 2017-12-28 2779
딥러닝을 사용한 챗봇 개발방법 정리 file 깊은바다 2018-02-03 25393
한국어 자연어처리를 위한 딥러닝 깊은바다 2018-02-14 3650
딥러닝을 사용한 감성분석기 개발 깊은바다 2018-02-22 1658