레플리
글 수 281

OpenAI Transformer GPT2로 만든 언어 모델

조회 수 2980 추천 수 0 2019.02.17 20:31:13


 

https://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=004&oid=079&aid=0003195314

 

 

 

OpenAI Transformer라고 불린 GPT(Generative Pre-Training)가 최근 GPT2로 업그레이드 되었습니다. 기본적으로 ngram과 같은 언어모델입니다. 앞의 단어들이 주어지면 그 다음에 나올 단어를 예측합니다. 아래 p봇은 박근혜 전 대통령의 발언들을 모아서 새로운 문장을 생성하는 사이트입니다.

 

http://markov.mathnt.net/

 

GPT2 역시 이런 방법으로 사전훈련을 합니다. 40GB 분량의 텍스트를 인터넷에서 모아서 학습을 했습니다. 공개된 결과를 보니 ngram과 비교할 수 없을 만큼 품질이 뛰어납니다. ngram과 달리 입력에 들어가는 이전 문장을 매우 길게 잡을 수 있어서 문맥이 잘 이어지는 편입니다.

 

 

 

최근 GAN으로 생성한 페이크 영상이 큰 이슈가 된 것처럼, 이제 언어모델로 만든 페이크 뉴스(또는 댓글)이 심각한 사회문제가 될 것 같습니다. 그런 우려 때문에 OpenAI가 일부러 작은 모델만 공개했다고 합니다. 하지만 금방 이를 따라한, 오히려 더 좋은 성능의 모델이 계속 나올 것이라 생각합니다.

 

부정적인 측면도 있지만 실제로 상용화가 가능한 제품도 많이 만들어질 수 있습니다. 개인적으로는 글쓰기 보조도구가 나왔으면 좋겠습니다. 단락의 첫 문장만 입력하면, 전체 글을 고려하여 새로운 단락을 보여주는 인공지능입니다. 마음에 들 때까지 계속 반복하다가 적당한 글이 나오면 조금씩 수정하여 계속 글을 씁니다.

 

작년 BERT에 이어 올해 초에는 GPT2, MT_DNN 등 계속 새로운 기술이 개발되고 있습니다. 2019년은 자연어처리가 딥러닝의 중심이 될지도 모르겠네요.

 

 

 

< OpenAI 블로그 >
https://blog.openai.com/better-language-models/#task6

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 557
죽은 약혼자를 챗봇으로 살려낸 남자 - Project December 깊은바다 2021-07-27 557
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 560
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 567
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 568
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 581
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 586
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 586
GPT-4에 CoT 프롬프를 적용하여 2023 수능 국어 1등급 달성 file 깊은바다 2023-08-08 593
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 613
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 613
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 615
GPT2를 테스트해볼 수 있는 사이트 - Talk to Transformer file 깊은바다 2020-06-05 615
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 622
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 623