레플리
글 수 220

카카오 Kogpt 파인튜닝.

조회 수 2453 추천 수 0 2022.11.12 23:11:20


안녕하세요, 

 

딥러닝 공부하는 학생인데, 카카오에서 공개한 아래 kogpt 성능이 굉장히 좋아서 파인튜닝을 해보고 싶은데 코랩으로는 메모리가 부족해서 트레이닝을 할수가 없더라구요..

 

https://huggingface.co/kakaobrain/kogpt

 

목표로하고 있는 건 kogpt에 특정 주제 데이터를 더 추가시켜, 예를 들어 mbti관련 데이터나 문체,말투 등을 미세조정해보고 싶은데, 이렇게 커다란 모델을 다뤄본적이 없어서 리소스가 얼마나 필요한지 감이 안잡히네요.

혹 관련해서 테스트해보신 분 계신다면, 파인튜닝하신 방법과 필요 리소스가 어느정도나 되는지 관련 정보좀 공유 부탁드리고자 합니다. 긴 글 읽어주셔서 감사합니다.

 

 

엮인글 :

깊은바다

2022.11.14 11:18:00
*.32.218.234

카카오gpt를 실행하는데는 VRAM 16G면 되는데요. 파인튜닝에는 훨씬 많은 메모리가 필요합니다. 코랩에서는 할수가 없을 거에요. 테스트 용도라면 SKT의 KoGPT2로 파인튜닝을 해보시는건 어떨까요.

무럭

2022.11.21 08:35:22
*.217.95.253

https://www.youtube.com/watch?v=bLMbnHunL_E&ab_channel=Brillibits

https://github.com/mallorbc/Finetune_GPTNEO_GPTJ6B

 

참고하시면 좋을 것 같아요. deepspeed + 3090으로 파인튜닝, P튜닝 돌릴 수 있더라구요. GPTJ6B는 vocab 제외하고 KoGPT6B와 동일해 보입니다.

무럭

2022.11.21 08:35:51
*.217.95.253

swap 메모리도 늘려줘야 합니다. 시스템 메모리 초과로 커널이 종료되더라구요.

List of Articles
제목 글쓴이 날짜 조회 수
카톡 대화를 학습하는 AI 아바타 챗봇 - 레플리 file 깊은바다 2024-01-17 306
[전액국비지원] [빅데이터/AI] [2024 채용연계형 SW 전문인재양성 무료 교육과정 교육생 모집] *상시모집 *수강생 추천시 인센티브 제공 file 벡스 2024-03-26 16
♥ 청년취업사관학교 새싹(SeSAC) 영등포캠퍼스 6기 SW과정 모집 (~ 04.21) ♥ file 새싹SeSAC 2024-03-25 15
[마감임박] 스마트농업 AI 경진대회 시상식 및 포럼 사전등록 진행 중 file GOAT 2024-02-07 101
비전공자 개발자 무료 직무교육(빅데이터/AI) / 실무기반 프로젝트, 현장실습 기회 제공 file 벡스 2024-02-01 134
[딥러닝러닝데이] AutoML을 활용한 모델 탐색-서호건 file 인공지능팩토리1 2024-01-11 138
논문 이해의 필요성(질문) [1] 썸머ai 2024-01-08 192
비전공자도 생성형 AI 활용 인공지능 개발 제대로 배우고 개념부터 활용까지 배우고 싶다면? 비트캠프 2023-12-19 136
메타버스+초거대AI 서비스 기획 공모전 file [1] 깊은바다 2023-08-16 165
음성 데이터셋 정보를 한 번에 탐색 할 수 있는 아카이브를 만들었습니다! (SODA) file ODA 2023-06-14 86
딥러닝 관련 질문 (CPU -> GPU 설정 변환후, keras-tuner 돌릴때 error 발생) J814 2023-06-14 101
(주)레플리에서 일상대화 AI에 도전하실 분을 찾습니다 깊은바다 2023-01-19 210
안녕하세요 처음으로 만들어본 챗봇 공유해봅니다. [1] KimYH 2023-01-18 258
카카오 Kogpt 파인튜닝. [3] 영화관람권익보장 2022-11-12 2453
[질문드립니다] 전이학습 개념 관련 [2] 테리웁스 2022-08-23 834