글 수 222

카카오 Kogpt 파인튜닝.

조회 수 2159 추천 수 0 2022.11.12 23:11:20
영화관람권익보장 *.228.69.85


안녕하세요, 

 

딥러닝 공부하는 학생인데, 카카오에서 공개한 아래 kogpt 성능이 굉장히 좋아서 파인튜닝을 해보고 싶은데 코랩으로는 메모리가 부족해서 트레이닝을 할수가 없더라구요..

 

https://huggingface.co/kakaobrain/kogpt

 

목표로하고 있는 건 kogpt에 특정 주제 데이터를 더 추가시켜, 예를 들어 mbti관련 데이터나 문체,말투 등을 미세조정해보고 싶은데, 이렇게 커다란 모델을 다뤄본적이 없어서 리소스가 얼마나 필요한지 감이 안잡히네요.

혹 관련해서 테스트해보신 분 계신다면, 파인튜닝하신 방법과 필요 리소스가 어느정도나 되는지 관련 정보좀 공유 부탁드리고자 합니다. 긴 글 읽어주셔서 감사합니다.

 

 

이 게시물을
엮인글 :
목록

깊은바다

2022.11.14 11:18:00
*.32.218.234

카카오gpt를 실행하는데는 VRAM 16G면 되는데요. 파인튜닝에는 훨씬 많은 메모리가 필요합니다. 코랩에서는 할수가 없을 거에요. 테스트 용도라면 SKT의 KoGPT2로 파인튜닝을 해보시는건 어떨까요.

무럭

2022.11.21 08:35:22
*.217.95.253

https://www.youtube.com/watch?v=bLMbnHunL_E&ab_channel=Brillibits

https://github.com/mallorbc/Finetune_GPTNEO_GPTJ6B

 

참고하시면 좋을 것 같아요. deepspeed + 3090으로 파인튜닝, P튜닝 돌릴 수 있더라구요. GPTJ6B는 vocab 제외하고 KoGPT6B와 동일해 보입니다.

무럭

2022.11.21 08:35:51
*.217.95.253

swap 메모리도 늘려줘야 합니다. 시스템 메모리 초과로 커널이 종료되더라구요.

List of Articles
제목 글쓴이 날짜 조회 수
카카오 Kogpt 파인튜닝. [3] 영화관람권익보장 2022-11-12 2159
[질문드립니다] 전이학습 개념 관련 [2] 테리웁스 2022-08-23 814
AI 개발자, 데이터과학자 모임 오픈 채팅방 링크 공유 Dfinite 2022-07-23 776
kaggle 사이트 관련 [1] gat 2022-06-21 995
카카오톡 오픈채팅방 문의 [1] 외계공룡 2022-06-19 868
챗봇 빌더와 챗봇 모델을 사용하여 직접 개발하는 방법의 차이점은 무엇인가요? [1] 에이아이 2022-06-17 876
해당 기술에 대해 궁금합니다. 아까그분 2022-06-14 447
안녕하세요. 잘부탁드려요~!!! [1] jungjunn 2022-03-31 1567
메타, 메타버스 개발용 AI '빌더 봇' 선봬 깊은바다 2022-02-26 804
Yolov5 디바이스 사양 추천 부탁드립니다. rhee 2022-02-14 785
일상대화 챗봇 기반 메타버스 플랫폼을 만드실 백엔드 개발자 모집 깊은바다 2022-01-12 455
word2vec 질문입니다. [1] 노력하는돌 2021-09-13 1148
안녕하세요. 제가 속해있는 회사에서 딥러닝 엔지니어를 채용합니다. 깊은바다 2021-08-02 1041
딥러닝에 대한 질문드려용 [1] 병쥐 2021-05-17 219
GPT-3를 사용한 AI Dungeon, 문장 필터링에 문제 발생 깊은바다 2021-05-07 291
목록
쓰기