레플리
글 수 288

LLM의 새로운 기법 - Merge와 DPO

조회 수 1394 추천 수 0 2024.01.02 19:20:40


요즘 LLM에서 Merge와 DPO가 많이 쓰이고 있습니다. 얼마 전 공개된 업스테이지 SOLAR-10.7B도 이 두가지 기법을 사용했습니다.

 

 

 

Merge는 두 개 이상의 모델을 섞어서 하나의 모델로 만드는 방법입니다. SOLAR는 instruction tuning과 alignment tuning으로 학습한 모델들을 Merge하여 성능을 높였습니다. Merge는 학습이 아니기 때문에 CPU 계산만으로 매우 빠르게 수행할 수 있다는 장점이 있습니다.

 

K-002_1.jpg

 

 

 

DPO(Directly Preference Optmization)는 RLHF(Reinforcement Learning from Human Feedback)를 대체할 수 있는 방법입니다. RLHF는 같은 질문에 대해 여러 LLM의 대답 중 사람이 선택한 데이터로 보상 함수를 만듭니다. 그리고 보상 함수로 강화학습을 수행하여 모델 성능을 향상시킵니다. DPO 역시 선호 데이터를 사용하지만 보상 함수 없이 바로 학습을 합니다.

 

K-001_1.jpg

 

 

 

요즘 리더보드에 이 두가지 방법을 통해 높은 순위를 얻는 경우가 많아지고 있습니다. 대표적으로 Sakura-SOLAR-Instruct가 있습니다. 먼저 SOLAR-10.7b-Instruct-v1.0와 SauerkrautLM-SOLAR-Instruct 모델을 Merge합니다. 다음으로 다양한 DPO 데이터셋을 사용해서 DPO 학습을 했습니다. 이 과정만으로 리더보드 1위를 달성했다고 합니다.

 

다운로드_1.jpg

 

 

 

예전 머신러닝 시절에는 여러 모델을 앙상블하여 하나의 결과를 내는 방식이 주로 쓰였습니다. Merge도 약간 비슷한 느낌이 드네요.

 

 

 

< MergeKit >

https://github.com/cg123/mergekit

 

< Sakura-SOLAR >

https://kyujinpy.tistory.com/122

 

< DPO 논문 리뷰 >

https://hi-lu.tistory.com/entry/Paper-DPO-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0

 

List of Articles
제목 글쓴이 날짜 조회 수
심심이와 이루다1.0같은 검색 기반 챗봇의 장점 file 깊은바다 2024-06-02 135
GPT-4o가 GPT-4보다 한글 문장 품질이 훨씬 높아짐 file 깊은바다 2024-05-20 127
GPT-4o, GPT-3.5-turbo, 클로바X 가격 비교 file 깊은바다 2024-05-15 284
감성대화에서 클로바X가 챗GPT보다 뛰어난 이유 깊은바다 2024-05-10 110
MS 코파일럿, 한국어 토큰수 2배에서 1.1배로 감소 file 깊은바다 2024-05-04 179
5배 싸진 클로바X의 경량화 모델 - HCX-DASH file 깊은바다 2024-04-26 137
클로바X의 사용량 제한 - QPM과 TPM 깊은바다 2024-04-01 159
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 145
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 336
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 452
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 369
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 333
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 382
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 1394
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 580