레플리
글 수 293

KoNLPy를 이용하여 Huggingface Transformers 학습하기

조회 수 1679 추천 수 0 2020.09.20 14:08:40


 

 

 

Transformer는 BERT나 GPT-2의 기반이 되는 모델입니다. 보통 자연어처리를 하기 전에 우선 문장을 토큰으로 쪼개야 합니다. 예전에는 사전을 기반으로 한 형태소분석을 주로 사용했습니다. 하지만 Transformer는 SentencePiece 같은 subword 토크나이저로 되어 있습니다.

 

SentencePiece의 장점은 언어의 특성을 고려할 필요가 없다는 것입니다. 코퍼스에서 많이 나오는 글자들을 묶어서 하나의 토큰으로 만듭니다. 그래서 모든 언어에 공통적으로 적용이 가능합니다. 또한 신조어에 강하기 때문에 OOV(Out Of Vocabulary)가 발생하지 않습니다.

 

하지만 '코로나 _가 심 _각 _합니다'처럼 '심각'이란 의미가 분리되는 경우가 나오기도 합니다. 이런 문제를 해결하기 위해서 Huggingface Transformers에 KoNLPy를 결합하였다고 합니다. 먼저 KoNLPy로 사전 토크나이즈를 하고, 그 결과를 다시 SentencePiece에 넣습니다. 이런 기능을 수행하는 파이썬 패키지도 소개하고 있습니다.

 

 

 

< 발표자료 >
https://songys.github.io/2020Langc…/…/huggingface_konlpy.pdf

 

< GitHub >
https://github.com/lovit/huggingface_konlpy

 

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
구글의 초거대AI LaMDA, 과연 의식을 가지고 있을까 깊은바다 2023-02-17 213
ChatGPT와 대화 인공지능의 미래 깊은바다 2023-02-17 242
하이퍼클로바 기반의 심리상담 챗봇 개발 경험 깊은바다 2023-02-17 328
ChatGPT 프롬프트 엔지니어링 - 다양한 말투로 대답하기 file 깊은바다 2023-02-17 1174
ChatGPT, 타임지 표지 장식 깊은바다 2023-02-17 382
ChatGPT의 3가지 핵심 특징 깊은바다 2023-02-16 279
ChatGPT가 Stack Overflow를 대체할까 깊은바다 2023-02-16 243
테드 창, ChatGPT는 엄청나게 효율이 높은 손실 압축임 깊은바다 2023-02-13 361
MS의 목적은 ChatGPT로 구글이 장악한 검색시장 자체를 무너뜨리는 것 깊은바다 2023-02-11 253
ChatGPT와 통합된 Bing 사용후기 영상 깊은바다 2023-02-10 275
MS, Bing과 Edge에 ChatGPT 통합 file 깊은바다 2023-02-08 260
구글, ChatGPT의 라이벌인 Bard 공개 file 깊은바다 2023-02-07 266
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 306
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 225
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 532