레플리
글 수 288


GPT2에서 문장을 생성 시, 마지막에 레이어를 하나 더 붙여 소프트맥스로 출력합니다. 단어사전에 1만개의 단어가 있다면, 각 단어의 확률값이 나옵니다. 이때 어떤 방법으로 단어를 선택할지에 대한 글입니다.

 

 

 

첫 번째는 Greedy Search입니다. 말 그대로 가장 높은 확률의 단어 하나만 고릅니다. 간단하지만 큰 단점이 존재합니다. 선택되지 않은 단어 다음에 더 높은 확률의 단어가 있을 경우 찾을 수가 없습니다. 아래 그림을 보면 The-nice-woman(0.5x0.4=0.2)보다 The-dog-has(04x0.9=0.36)의 확률이 더 큽니다. 그러나 처음 단어만 보고 분기를 결정한다는 문제가 있습니다.

 

greedy search

 

 

 

두 번째는 Beam Search입니다. 레이저를 쏘는 것처럼 빔을 확률에 따라 여러 가닥으로 분기합니다. 그 중에서 연속적인 단어 확률의 곱이 가장 높은 것을 선택합니다. Greedy Search의 문제를 보완할 수 있다는 장점이 있습니다. 다만 무조건 확률이 높은 것을 고르는게 좋지는 않습니다. 사람의 경우 잘 안쓰는 단어도 사용하면서 흥미로운 문장을 만들기 때문입니다.

 

beam search

 

 

 

세 번째는 Sampling입니다. 전체 단어의 확률값 만큼 랜덤하게 선택합니다. 그래서 판에 박히지 않은 글을 작성할 수 있습니다. Temperature라는 기법을 쓰면 좀 더 정교하게 조작이 가능합니다. 온도가 높으면 자유롭게, 온도가 낮으면 고정적으로 글을 작성합니다.

 

sampling search

 

 

 

네 번째는 Top-K sampling입니다. 일반 Sampling은 확률이 아주 낮은 단어가 나올 수도 있습니다. 그래서 K개 만큼 확률의 높은 순서의 단어들만으로 제한을 둡니다. 아주 엉뚱한 단어가 나타나는 것을 방지합니다.

 

Top K sampling

 

 

 

다섯 번째는 Top-p sampling입니다. Top-K의 경우 문제가 하나 있습니다. 단어의 확률이 어느 지점에서 급격하게 떨어지는 경우도 있습니다. 그러면 K개로 해도 아주 작은 확률의 단어가 선택될 가능성이 있습니다. 이를 해결하기 위해 합계 확률 p를 넘는 단어만 후보에 넣습니다. 예를 들어, p가 0.92라고 생각해보겠습니다. 확률이 큰 순서로 계속 단어의 확률을 더하다가 합계가 0.92를 넘으면 중단합니다. 이 후보들만 가지고 샘플링을 하면, 낮은 확률의 단어를 제외시킬 수 있습니다.

 

Top p sampling

 

 

 

허깅페이스가 모델만이 아니라 글도 정말 쉽게 잘쓰네요. 덕분에 딥러닝 자연어처리를 구현하는게 훨씬 편해졌습니다.

 

 

 

< Using different decoding methods for language generation with Transformers >

-> https://huggingface.co/blog/how-to-generate

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
OpenAI Transformer GPT2로 만든 언어 모델 깊은바다 2019-02-17 2997
카카오 형태소 분석기(khaiii) 설치와 은전한닢(mecab) 형태소 분석기 비교 깊은바다 2018-12-02 2835
그림으로 아주 쉽게 설명한, The Illustrated GPT-2 깊은바다 2020-08-15 2833
구글 딥러닝 자연어 처리 오픈소스 SyntaxNet file 깊은바다 2017-12-28 2793
추론이 가능한 딥러닝인 Relational Networks [2] 깊은바다 2017-06-11 2752
Python과 Tensorflow를 활용한 AI Chatbot 개발 및 실무 적용 깊은바다 2017-08-25 2593
GPT-3를 강화학습으로 업그레이드한 InstructGPT file 깊은바다 2022-01-30 2590
오픈소스 한국어 딥러닝 챗봇 - Kochat 깊은바다 2020-07-03 2518
딥러닝을 사용하여 의도 및 엔티티를 파악하는 챗봇 소스코드 file 깊은바다 2019-06-25 2346
개체명인식 with Naver 깊은바다 2018-11-20 2327
BERT로 토익 문제를 푸는 프로젝트 file 깊은바다 2019-04-30 2306
GPT2에서 문장 생성 시 단어를 확률에 따라 선택하는 방법 깊은바다 2020-07-16 2244
소설을 생성하는 NarrativeKoGPT2 file 깊은바다 2020-06-19 2219
GPT2로 만든 텍스트 어드벤처 게임 깊은바다 2019-12-09 2025
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 1912