ChatGPT나 Bard에 대항해서 23년 2월 25일 메타가 LLaMA를 공개했습니다. 파라미터 크기가 7B, 13B, 33B, 65B으로 상대적으로 작지만 GPT-3를 능가하는 벤치마크 성능을 보여줬습니다. 이 모델을 양자화 하여 노트북에서도 돌아가는 오픈소스들이 속속 발표되기도 했습니다.

또한 스탠포드대의 Alpaca는 LLaMA에 RLHF(Reinforcement Learning from Human Feedback)를 적용하여 성능을 더욱 높였습니다. RLHF는 InstructGPT와 ChatGPT에 쓰인 핵심 기술입니다. 사전훈련된 모델을 사람이 평가한 데이터로 다시 강화학습을 하는 방법입니다.

http://aidev.co.kr/chatbotdeeplearning/12429

하지만 Apaca는 RLHF에서 1단계인 지도학습만 수행했습니다. 사람이 직접 작성한 질문/대답 데이터로 파인튜닝을 하는 과정입니다. 이번에 출시한 ColossalChat은 2단계인 보상모델 훈련, 3단계인 보상모델로 강화학습 수행까지 가능합니다. 진정한 ChatGPT의 오픈소스 모델이라 할 수 있습니다.

ColossalChat은 LLaMA의 7B 모델을 베이스로 RLHF를 하였습니다. 4bit 양자화를 해서 모델의 크기를 획기적으로 줄였기 때문에 4GB의 GPU에서도 돌아갑니다. 양자화란 파라미터의 변수를 작게 만드는 방법입니다. 32bit에서 4bit로 낮추면 정확도는 떨어지지만, 모델의 크기가 작아지고 속도는 훨씬 빨라집니다.

데모 페이지에서 직접 테스트해본 결과 성능이 괜찮은 편이었습니다. 아이유에 대해서도 물어봤는데 대부분 잘 대답했습니다. 이메일을 쓰거나 코딩을 작성할 수도 있습니다.

물론 ChatGPT가 더 뛰어나겠지만 상당한 비용이 듭니다. 또한 민감한 내부 서비스 정보가 외부로 유출된다는 문제도 있습니다. 이런 경량된 된 모델이 어느정도 성능만 받쳐준다면 온프레미스로 설치해서 쓰는 것도 충분히 고려할만 합니다. 쓸만한 한글 버전도 빨리 나왔으면 좋겠습니다.

< 블로그 >

https://medium.com/.../colossalchat-an-open-source...

< GitHub >

https://github.com/.../Coloss.../tree/main/applications/Chat

< 데모 >

https://chat.colossalai.org/