글 수 270


 

https://jeinalog.tistory.com/entry/AI-x-Bookathon-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%84-%EC%88%98%ED%95%84-%EC%9E%91%EA%B0%80%EB%A1%9C-%ED%95%99%EC%8A%B5%EC%8B%9C%EC%BC%9C%EB%B3%B4%EC%9E%90

 

 

 

GPT2를 사용해서 글쓰기를 하는 대회가 열렸습니다. 거기서 대상을 받은 팀원이 어떤 과정을 통해 구현했는지 정리한 글입니다. GPT2(Generative Pre-Training)는 OpenAI에서 만들었습니다. 이름 그대로 사전훈련 기반의 생성 모델입니다.

 

라벨이 없는 코퍼스 데이터로 미리 자기지도학습을 합니다. 그다음 모델에 문장을 입력하고 돌리면 거기에 연속되는 다음 문장을 출력합니다. 이렇게 계속 반복하면 무한히 글을 작성하게 됩니다. 전체 소스코드도 공개되어 있으니 관심있는 분들은 참고하시기 바랍니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
딥러닝을 이용한 자연어처리 깊은바다 2018-05-17 560
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 577
내가 AI를 직접 가르치고 키우는 반려지능의 시대 file 깊은바다 2023-05-31 577
이성에게 말을 거는 작업멘트를 GPT-3로 생성 file 깊은바다 2021-03-24 580
구글의 딥러닝 대화 모델 - LaMDA 깊은바다 2021-06-13 580
LLM이 서로 협력하여 프로그램을 개발 - ChatDev file 깊은바다 2023-08-16 584
GPT2를 테스트해볼 수 있는 사이트 - Talk to Transformer file 깊은바다 2020-06-05 596
문장 입력 이진분류 모델 레시피 - 영화평점 학습 [3] 깊은바다 2018-04-04 603
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 604
책 한권을 입력으로 받는 구글의 딥러닝 모델 - Reformer 깊은바다 2020-01-17 618
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 618
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 626
대화 인공지능 대회 - ConvAI file 깊은바다 2019-03-25 626
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 629
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 641