레플리
글 수 281

KoNLPy를 이용하여 Huggingface Transformers 학습하기

조회 수 1567 추천 수 0 2020.09.20 14:08:40


 

 

 

Transformer는 BERT나 GPT-2의 기반이 되는 모델입니다. 보통 자연어처리를 하기 전에 우선 문장을 토큰으로 쪼개야 합니다. 예전에는 사전을 기반으로 한 형태소분석을 주로 사용했습니다. 하지만 Transformer는 SentencePiece 같은 subword 토크나이저로 되어 있습니다.

 

SentencePiece의 장점은 언어의 특성을 고려할 필요가 없다는 것입니다. 코퍼스에서 많이 나오는 글자들을 묶어서 하나의 토큰으로 만듭니다. 그래서 모든 언어에 공통적으로 적용이 가능합니다. 또한 신조어에 강하기 때문에 OOV(Out Of Vocabulary)가 발생하지 않습니다.

 

하지만 '코로나 _가 심 _각 _합니다'처럼 '심각'이란 의미가 분리되는 경우가 나오기도 합니다. 이런 문제를 해결하기 위해서 Huggingface Transformers에 KoNLPy를 결합하였다고 합니다. 먼저 KoNLPy로 사전 토크나이즈를 하고, 그 결과를 다시 SentencePiece에 넣습니다. 이런 기능을 수행하는 파이썬 패키지도 소개하고 있습니다.

 

 

 

< 발표자료 >
https://songys.github.io/2020Langc…/…/huggingface_konlpy.pdf

 

< GitHub >
https://github.com/lovit/huggingface_konlpy

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
생성 에이전트를 ChatGPT 프롬프트만으로 구현 file 깊은바다 2023-04-20 262
GPT가 스스로 계획을 세워서 실행한다면 - AutoGPT와 LangChain file 깊은바다 2023-04-18 1417
ChatGPT 플러그인으로 만든 TODO 예제 file 깊은바다 2023-04-18 196
한국어 초거대AI가 필요한 이유 - 토크나이저와 한국어 콘텐츠 깊은바다 2023-04-17 263
심즈와 비슷한 가상세계를 ChatGPT로 구현 - 생성 에이전트(Generative Agents) file 깊은바다 2023-04-14 1636
ChatGPT 플러그인 전략 및 생태계 변화 전망 file 깊은바다 2023-04-09 1814
ChatGPT 원티드 플러그인 사용 화면 file 깊은바다 2023-04-07 277
GPT-3, InstructGPT, GPT-3.5, ChatGPT의 차이점 깊은바다 2023-04-05 1291
ChatGPT의 오픈소스 버전 - ColossalChat file 깊은바다 2023-03-30 498
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 623
ChatGPT를 앱스토어 같은 플랫폼으로 확장 - ChatGPT 플러그인 file 깊은바다 2023-03-24 347
딥마인드의 데미스 하사비스, AGI는 신중한 접근 필요 깊은바다 2023-03-22 146
GPT-4 수능 국어영역에서 3등급(상위 17%) 달성 깊은바다 2023-03-21 330
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 613
MS의 CTO인 Kevin Scott과 OpenAI와의 협업 깊은바다 2023-03-17 81