레플리
글 수 281

KoNLPy를 이용하여 Huggingface Transformers 학습하기

조회 수 1567 추천 수 0 2020.09.20 14:08:40


 

 

 

Transformer는 BERT나 GPT-2의 기반이 되는 모델입니다. 보통 자연어처리를 하기 전에 우선 문장을 토큰으로 쪼개야 합니다. 예전에는 사전을 기반으로 한 형태소분석을 주로 사용했습니다. 하지만 Transformer는 SentencePiece 같은 subword 토크나이저로 되어 있습니다.

 

SentencePiece의 장점은 언어의 특성을 고려할 필요가 없다는 것입니다. 코퍼스에서 많이 나오는 글자들을 묶어서 하나의 토큰으로 만듭니다. 그래서 모든 언어에 공통적으로 적용이 가능합니다. 또한 신조어에 강하기 때문에 OOV(Out Of Vocabulary)가 발생하지 않습니다.

 

하지만 '코로나 _가 심 _각 _합니다'처럼 '심각'이란 의미가 분리되는 경우가 나오기도 합니다. 이런 문제를 해결하기 위해서 Huggingface Transformers에 KoNLPy를 결합하였다고 합니다. 먼저 KoNLPy로 사전 토크나이즈를 하고, 그 결과를 다시 SentencePiece에 넣습니다. 이런 기능을 수행하는 파이썬 패키지도 소개하고 있습니다.

 

 

 

< 발표자료 >
https://songys.github.io/2020Langc…/…/huggingface_konlpy.pdf

 

< GitHub >
https://github.com/lovit/huggingface_konlpy

 

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
딥러닝을 이용한 자연어 처리 입문 - 위키독스 깊은바다 2018-09-21 1100
질의응답을 위한 딥러닝 모델인 메모리 네트워크 정리 file 깊은바다 2018-09-26 958
다이나믹 메모리 네트워크 정리 file 깊은바다 2018-09-29 1134
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 631
썰로 푸는 NLP 깊은바다 2018-10-11 494
Seq2Seq와 어텐션 기법을 애니메이션으로 쉽게 설명한 글 깊은바다 2018-10-12 1051
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 3022
RNN seq2seq 간단한 대화모델 깊은바다 2018-10-23 1364
사전학습을 통한 구글의 자연어처리 언어 모델 - BERT file 깊은바다 2018-11-03 4294
개체명인식 with Naver 깊은바다 2018-11-20 2320
커뮤니케이션과 AI - Multi-channel CNN을 이용한 한국어 감성분석 깊은바다 2018-11-22 1156
딥러닝 자연어처리 튜토리얼 - DLK2NLP [1] 깊은바다 2018-11-24 1220
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
위키정보를 찾아 잡담을 하는 딥러닝 모델 - Wizard Of Wikipedia file 깊은바다 2018-11-29 896
카카오의 딥러닝 기반 형태소 분석기 깊은바다 2018-11-30 497