레플리
글 수 281


 

https://jeinalog.tistory.com/entry/AI-x-Bookathon-%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%9D%84-%EC%88%98%ED%95%84-%EC%9E%91%EA%B0%80%EB%A1%9C-%ED%95%99%EC%8A%B5%EC%8B%9C%EC%BC%9C%EB%B3%B4%EC%9E%90

 

 

 

GPT2를 사용해서 글쓰기를 하는 대회가 열렸습니다. 거기서 대상을 받은 팀원이 어떤 과정을 통해 구현했는지 정리한 글입니다. GPT2(Generative Pre-Training)는 OpenAI에서 만들었습니다. 이름 그대로 사전훈련 기반의 생성 모델입니다.

 

라벨이 없는 코퍼스 데이터로 미리 자기지도학습을 합니다. 그다음 모델에 문장을 입력하고 돌리면 거기에 연속되는 다음 문장을 출력합니다. 이렇게 계속 반복하면 무한히 글을 작성하게 됩니다. 전체 소스코드도 공개되어 있으니 관심있는 분들은 참고하시기 바랍니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
ChatGPT 2달만에 누적 사용자 1억명 돌파 깊은바다 2023-02-03 88
ChatGPT 톺아보기 - 인공지능의 역사부터 신경망, 초거대AI, ChatGPT까지 file 깊은바다 2023-02-01 310
ChatGPT 한글 자동번역 크롬 확장프로그램 깊은바다 2023-01-17 1846
Koko 심리상담 서비스에서 GPT-3 대답 추천 기능을 도입 file 깊은바다 2023-01-11 296
ChatGPT보다 한글을 더 잘 대답하는 모델 - Claude file 깊은바다 2023-01-10 815
ChatGPT와 유사한 서비스 - Chatsonic file 깊은바다 2023-01-09 793
페이지링크와 ChatGPT 대화를 동시에 지원하는 검색엔진 - You.com 깊은바다 2022-12-27 235
ChatGPT에게 챗봇을 만들어보라고 해봤습니다 file 깊은바다 2022-12-26 412
ChatGPT는 새로운 검색엔진이 될까 file 깊은바다 2022-12-06 506
OpenAI의 대화전용 딥러닝 모델 - ChatGPT file 깊은바다 2022-12-02 964
네이버의 초거대모델인 하이퍼클로바 가격 공개 깊은바다 2022-08-24 1817
유저 피드백을 받아 지속적으로 학습을 하는 챗봇 - BlenderBot 3 file 깊은바다 2022-08-06 1135
최신 자연어처리 모델 소개 file 깊은바다 2022-07-11 1172
러시아의 구글 얀덱스, 100B 초거대모델 무료 공개 깊은바다 2022-06-26 804
구글의 초거대모델 PaLM의 추론과 상식 능력 file 깊은바다 2022-05-20 837