레플리
글 수 283

Llama 2의 RLHF 구현 방법

조회 수 728 추천 수 0 2023.07.19 20:31:41
깊은바다 *.68.249.160


https://www.facebook.com/rosinality/posts/6768879263164448

 

 

 

Llama 2의 가장 큰 특징은 역시 RLHF입니다. 이 과정에 대해서 자세히 설명한 글입니다. RLHF의 1단계는 SFT입니다. 사람이 질문에 대한 정답을 작성하고 이를 지도학습으로 배웁니다. 2단계는 사람이 모델이 생성한 답변에 점수를 매겨 reward model을 만듭니다. 3단계는 이를 사용해서 모델이 스스로 최적의 문장을 만드는 방법을 학습합니다. SFT보다 RL이 모델의 성능을 높이는데 더 효과적이라고 합니다. 직접 소설을 쓰는 것보다 좋은 소설을 판별하는게 더 쉬운 것처럼요.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
한글전용 초거대AI가 필요한 이유 [2] 깊은바다 2023-03-18 630
딥러닝을 이용한 자연어처리의 연구동향 깊은바다 2018-10-04 631
포자랩스의 작사/작곡 인공지능 file 깊은바다 2018-08-31 641
구글 듀플렉스(Duplex) 상용화 시작 [2] 깊은바다 2018-11-26 644
LLM Multi Agent: Customer Service를 기깔나게 자동화하는 방법 file [1] 깊은바다 2023-10-09 648
ChatGPT 플러그인 구현 방법 - manifest와 OpenAPI Spec file 깊은바다 2023-03-28 649
인터넷 검색을 하고 장기기억을 저장하는 페이스북의 챗봇 - Blenderbot 2 file 깊은바다 2021-07-19 654
사람의 말로 표현하는 페이지(PAIGE) - 자연어생성 깊은바다 2018-08-04 660
GPT3 튜링 테스트 깊은바다 2020-07-23 668
카카오미니의 명령어 분류 방법 - GloVe와 CNN 사용 깊은바다 2018-05-07 674
딥러닝 자연어처리 강의 - Natural Language Processing with PyTorch 깊은바다 2019-07-06 687
워드 임베딩에 대한 아주 쉬운 설명 - The Illustrated Word2vec 깊은바다 2019-04-09 703
새로운 자연어처리 벤치마크 - SuperGLUE 깊은바다 2019-08-15 703
GPT-3를 헬스케어 서비스에 적용했을 때의 문제점들 깊은바다 2020-11-04 707
LLM의 창발적인 현상인 CoT(Chain of Thouht) 소개 file 깊은바다 2023-07-27 708
목록
쓰기