레플리
글 수 293


 

https://jeinalog.tistory.com/entry/AI-x-Bookathon-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%84-%EC%88%98%ED%95%84-%EC%9E%91%EA%B0%80%EB%A1%9C-%ED%95%99%EC%8A%B5%EC%8B%9C%EC%BC%9C%EB%B3%B4%EC%9E%90

 

 

 

GPT2를 사용해서 글쓰기를 하는 대회가 열렸습니다. 거기서 대상을 받은 팀원이 어떤 과정을 통해 구현했는지 정리한 글입니다. GPT2(Generative Pre-Training)는 OpenAI에서 만들었습니다. 이름 그대로 사전훈련 기반의 생성 모델입니다.

 

라벨이 없는 코퍼스 데이터로 미리 자기지도학습을 합니다. 그다음 모델에 문장을 입력하고 돌리면 거기에 연속되는 다음 문장을 출력합니다. 이렇게 계속 반복하면 무한히 글을 작성하게 됩니다. 전체 소스코드도 공개되어 있으니 관심있는 분들은 참고하시기 바랍니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
RNN과 Torch로 발라드곡 작사하기 깊은바다 2018-03-23 629
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 633
2018 Amazon Prize에서 우승한 Gunrock 소셜봇 file 깊은바다 2018-12-26 638
좋은 응답을 골라내는 모델 만들기 - 핑퐁의 답변매칭 알고리즘 깊은바다 2020-12-10 650
GPT2의 1.5B 모델 공개 깊은바다 2019-11-08 660
페르소나를 가진 대화 학습 - Personalizing Dialogue Agents file 깊은바다 2018-09-19 674
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 676
인공지능과 함께 글쓰기! 창의 AI x Bookathon 대회 - GPT2 깊은바다 2019-11-30 678
ChatGPT의 오픈소스 버전 - ColossalChat file 깊은바다 2023-03-30 681
네이버의 초거대모델인 HyperCLOVA 논문 file 깊은바다 2021-09-13 684
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 691
GPT3 튜링 테스트 깊은바다 2020-07-23 699
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 708
사람의 말로 표현하는 페이지(PAIGE) - 자연어생성 깊은바다 2018-08-04 709
일상대화 딥러닝 모델들을 쉽게 실행할 수 있는 Openchat 깊은바다 2021-06-01 709