글 수 97


 

https://jeinalog.tistory.com/entry/AI-x-Bookathon-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%84-%EC%88%98%ED%95%84-%EC%9E%91%EA%B0%80%EB%A1%9C-%ED%95%99%EC%8A%B5%EC%8B%9C%EC%BC%9C%EB%B3%B4%EC%9E%90

 

 

 

GPT2를 사용해서 글쓰기를 하는 대회가 열렸습니다. 거기서 대상을 받은 팀원이 어떤 과정을 통해 구현했는지 정리한 글입니다. GPT2(Generative Pre-Training)는 OpenAI에서 만들었습니다. 이름 그대로 사전훈련 기반의 생성 모델입니다.

 

라벨이 없는 코퍼스 데이터로 미리 자기지도학습을 합니다. 그다음 모델에 문장을 입력하고 돌리면 거기에 연속되는 다음 문장을 출력합니다. 이렇게 계속 반복하면 무한히 글을 작성하게 됩니다. 전체 소스코드도 공개되어 있으니 관심있는 분들은 참고하시기 바랍니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
GPT2로 만든 텍스트 어드벤쳐 게임 깊은바다 2019-12-09 67
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 161
GLUE: 벤치마크를 통해 BERT 이해하기 깊은바다 2019-11-19 282
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 162
GPT2로 글을 작성하는 사이트 - StoryAI file 깊은바다 2019-10-11 207
딥러닝 기반 자연어 언어모델 BERT - Colab 실습 코드 포함 file 깊은바다 2019-09-02 508
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 394
딥러닝을 활용한 뉴스 메타 태깅 깊은바다 2019-08-26 172
100억건의 카카오톡 데이터로 
똑똑한 일상대화 인공지능 만들기 - 핑퐁 멀티턴 file 깊은바다 2019-08-20 604
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 248
딥러닝을 사용하여 심심이의 나쁜말 필터링 기능 구현 깊은바다 2019-08-14 275
위키에서 질문의 답을 찾는 딥러닝 모델, 페이스북의 DrQA file 깊은바다 2019-08-03 182
페이스북이 발표한 사전훈련 언어모델 RoBERTa file 깊은바다 2019-07-30 470
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 711
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 344