레플리
글 수 281

구글 딥러닝 자연어 처리 오픈소스 SyntaxNet

조회 수 2779 추천 수 0 2017.12.28 11:57:54


863a0d73b2cfa5d60d1f4ba543c55862.png

 

https://cpuu.postype.com/post/166917/

 

 

 

자연어처리는 보통 형태소분석, 구문분석, 의미분석, 문맥분석으로 구성됩니다.

 

형태소분석은 명사, 동사 등의 형태소로 문장을 분석합니다.

이때 동사는 '먹었다 -> 먹+었+다' 같이 어간 추출(stemming)을 같이 수행합니다.

 

구문분석은 명사구, 동사구 처럼 문장의 구문을 파악합니다.

같은 품사도 다른 구문에 속할 수 있습니다.

예를 들어, '사과는 맛있다'에서 '맛있다'란 동사는 동사구에 속합니다.

'맛있는 사과는 비싸다'에서는 '맛있다'란 동사가 '맛있는 사과는'이란 명사구에 속합니다.

이렇게 형태소분석과 구분문석은 큰 차이가 있습니다.

 

의미분석은 문장이 어떤 뜻을 가지고 있는지를 검사합니다.

챗봇의 경우 보통 의도와 개체를 파악하는 것을 의미합니다.

'불고기피자 주문할래'라는 문장에서는 의도는 '주문', 개체는 '불고기피자'라는 의미를 판단합니다.

 

문맥분석은 문장사이의 연결을 이해하는 것을 말합니다.

'철수는 중학생이다. 그는 서울에 산다.'에서 '그'는 '철수'라는 것을 파악할 수 있습니다.

 

 

 

일반적으로 구문분석은 룰베이스 기반으로 이루어집니다.

그런데 구글에서 딥러닝으로 학습하여 보다 정확하게 구문을 찾아내는 방법을 공개하였습니다.

 

구문분석의 가장 큰 어려움이 여러개의 구문이 가능할때 의미를 판단하여 정확한 구문을 결정하는 것입니다.

이것을 신경망을 사용하여 좀 더 직관적으로 정확하게 판단할 수 있다고 합니다.

 

List of Articles
제목 글쓴이 날짜 조회 수sort
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2980
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2828
구글 딥러닝 자연어 처리 오픈소스 SyntaxNet file 깊은바다 2017-12-28 2779
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2752
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2739
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 깊은바다 2017-08-25 2579
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 2553
오픈소스 한국어 딥러닝 챗봇 - Kochat 깊은바다 2020-07-03 2498
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 2322
개체명인식 with Naver 깊은바다 2018-11-20 2320
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 2276
소설을 생성하는 NarrativeKoGPT2 file 깊은바다 2020-06-19 2189
GPT2에서 문장 생성 시 단어를 확률에 따라 선택하는 방법 깊은바다 2020-07-16 2183
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 2005
딥러닝으로 욕설 탐지하기 깊은바다 2018-08-06 1880