Transformer는 BERT나 GPT-2의 기반이 되는 모델입니다. 보통 자연어처리를 하기 전에 우선 문장을 토큰으로 쪼개야 합니다. 예전에는 사전을 기반으로 한 형태소분석을 주로 사용했습니다. 하지만 Transformer는 SentencePiece 같은 subword 토크나이저로 되어 있습니다.

SentencePiece의 장점은 언어의 특성을 고려할 필요가 없다는 것입니다. 코퍼스에서 많이 나오는 글자들을 묶어서 하나의 토큰으로 만듭니다. 그래서 모든 언어에 공통적으로 적용이 가능합니다. 또한 신조어에 강하기 때문에 OOV(Out Of Vocabulary)가 발생하지 않습니다.

하지만 '코로나 _가 심 _각 _합니다'처럼 '심각'이란 의미가 분리되는 경우가 나오기도 합니다. 이런 문제를 해결하기 위해서 Huggingface Transformers에 KoNLPy를 결합하였다고 합니다. 먼저 KoNLPy로 사전 토크나이즈를 하고, 그 결과를 다시 SentencePiece에 넣습니다. 이런 기능을 수행하는 파이썬 패키지도 소개하고 있습니다.

< 발표자료 >
- https://songys.github.io/2020Langc…/…/huggingface_konlpy.pdf

< GitHub >
- https://github.com/lovit/huggingface_konlpy