레플리
글 수 284

Llama 2의 RLHF 구현 방법

조회 수 732 추천 수 0 2023.07.19 20:31:41
깊은바다 *.68.249.160


https://www.facebook.com/rosinality/posts/6768879263164448

 

 

 

Llama 2의 가장 큰 특징은 역시 RLHF입니다. 이 과정에 대해서 자세히 설명한 글입니다. RLHF의 1단계는 SFT입니다. 사람이 질문에 대한 정답을 작성하고 이를 지도학습으로 배웁니다. 2단계는 사람이 모델이 생성한 답변에 점수를 매겨 reward model을 만듭니다. 3단계는 이를 사용해서 모델이 스스로 최적의 문장을 만드는 방법을 학습합니다. SFT보다 RL이 모델의 성능을 높이는데 더 효과적이라고 합니다. 직접 소설을 쓰는 것보다 좋은 소설을 판별하는게 더 쉬운 것처럼요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
BERT를 이용한 챗봇 구현 file 깊은바다 2019-01-07 4113
GPT-3 데모 사이트 - gpt3demo.com 깊은바다 2021-07-13 3707
한국어 자연어처리를 위한 딥러닝 깊은바다 2018-02-14 3652
하이퍼클로바 활용예 및 사용가이드 file 깊은바다 2022-03-05 3570
한국어로 대화하는 생성 모델의 학습을 위한 여정 - Transformer와 GPT2 깊은바다 2020-08-13 3566
KoGPT2를 파인튜닝하여 만든 챗봇 깊은바다 2020-06-23 3532
구글의 딥러닝 대화 알고리즘 깊은바다 2016-03-25 3356
여러 한국어 GPT 모델들 file [1] 봄눈 2021-11-21 3338
네이버 영화 리뷰 감정 분석 깊은바다 2018-09-07 3293
욕설을 찾는 BERT 모델 - Purifier 깊은바다 2019-08-28 3273
딥러닝으로 챗봇 만들기 깊은바다 2017-05-03 3173
네이버의 초거대모델인 하이퍼클로바 사용 후기 깊은바다 2022-02-14 3171
6B 파라미터의 GPT-J_6B 오픈소스 모델 깊은바다 2021-07-01 3154
케라스로 만든 한글 Seq2Seq 챗봇 소스코드 깊은바다 2019-07-13 3091
구글의 Transformer 신경망 모델 [2] 깊은바다 2018-10-13 3023
목록
쓰기