글 수 228
안녕하세요,
딥러닝 공부하는 학생인데, 카카오에서 공개한 아래 kogpt 성능이 굉장히 좋아서 파인튜닝을 해보고 싶은데 코랩으로는 메모리가 부족해서 트레이닝을 할수가 없더라구요..
https://huggingface.co/kakaobrain/kogpt
목표로하고 있는 건 kogpt에 특정 주제 데이터를 더 추가시켜, 예를 들어 mbti관련 데이터나 문체,말투 등을 미세조정해보고 싶은데, 이렇게 커다란 모델을 다뤄본적이 없어서 리소스가 얼마나 필요한지 감이 안잡히네요.
혹 관련해서 테스트해보신 분 계신다면, 파인튜닝하신 방법과 필요 리소스가 어느정도나 되는지 관련 정보좀 공유 부탁드리고자 합니다. 긴 글 읽어주셔서 감사합니다.
https://www.youtube.com/watch?v=bLMbnHunL_E&ab_channel=Brillibits
https://github.com/mallorbc/Finetune_GPTNEO_GPTJ6B
참고하시면 좋을 것 같아요. deepspeed + 3090으로 파인튜닝, P튜닝 돌릴 수 있더라구요. GPTJ6B는 vocab 제외하고 KoGPT6B와 동일해 보입니다.
카카오gpt를 실행하는데는 VRAM 16G면 되는데요. 파인튜닝에는 훨씬 많은 메모리가 필요합니다. 코랩에서는 할수가 없을 거에요. 테스트 용도라면 SKT의 KoGPT2로 파인튜닝을 해보시는건 어떨까요.