레플리
글 수 284

GPT-4 세부구조에 대한 정보 유출

조회 수 461 추천 수 0 2023.07.20 11:33:43
깊은바다 *.32.218.234


https://latte4me.com/676-2/

 

 

 

GPT-4의 세부구조에 대한 루머가 또 유출되었습니다. 확실하지는 않지만 어느정도 신빙성이 있어 보입니다.

  • 파라미터수 1.7조~2조개로 GPT-3(1,750억개)의 10배

  • 16개의 MOE(Mixture of Experts) 사용. 각 MOE 당 1,000억개의 파라미터 보유. MOE는 전문분야에 최적화된 모델을 여러개 만들고 질문이 들어오면 해당하는 모델을 사용하는 방식.

  • 25,000개의 A100을 사용해서 100일 동안 학습. 총 8천억원 소요로 GPT-3 학습비용의 3배.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
MS 직원의 GPT 기반 콜센터 챗봇 사용기 깊은바다 2023-02-18 158
ChatGPT와 통합된 Bing 사용후기 영상 깊은바다 2023-02-10 166
ChatGPT의 3가지 핵심 특징 깊은바다 2023-02-16 166
GPT-4가 내 여자친구보다 나를 더 잘 알까? file 깊은바다 2023-12-12 168
OpenAI가 ChatGPT를 개발할 수 있었던 이유 깊은바다 2023-02-20 176
생성 에이전트의 자율성이 AGI의 핵심 요소 file 깊은바다 2023-06-25 177
구글 듀플렉스에 대한 소개 깊은바다 2018-07-30 183
죽은 아들의 AI 아바타를 만든 중국의 부모 file 깊은바다 2023-12-21 186
FSM과 생성 에이전트의 차이점 깊은바다 2023-11-22 190
ChatGPT 플러그인으로 만든 TODO 예제 file 깊은바다 2023-04-18 198
ChatGPT plugin와 Autonomous Agent, 그리고 새로운 패러다임의 시작 깊은바다 2023-06-27 204
게임 속 음성 기술 깊은바다 2018-06-13 206
네이버의 생성AI는 챗GPT가 안 부럽다 - 심층 인터뷰 기사 깊은바다 2023-02-03 207
Scale entanglement - LLM 연대기 깊은바다 2023-05-21 208
OpenAI의 샘 알트만, AGI를 향한 계획 깊은바다 2023-02-25 211
목록
쓰기