레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5257 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
세상을 바꾸고 싶다면, 딥러닝 깊은바다 2017-04-15 413
딥러닝의 창시자인 제프리 힌튼이 구글에 합류하게 된 스토리 깊은바다 2021-03-18 418
ChatGPT와 Stable Diffusion에 대한 정지훈 교수님 강의 깊은바다 2023-04-03 423
Text-to-3D인 DreamFusion과 Text-to-Video인 Make-A-Video 깊은바다 2022-10-01 440
마우스로 끌어서 사진을 수정하는 딥러닝 - DragGAN 깊은바다 2023-05-21 446
글로 설명하면 음악을 만들어주는 딥러닝 모델 - MusicLM 깊은바다 2023-01-27 447
꽃이름이 궁금해? 다음 앱 AI에 물어봐! 깊은바다 2018-06-07 451
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 깊은바다 2020-04-03 456
합성곱 신경망 설명 동영상 [2] LegenDUST 2017-09-20 464
내가 원하는 사진을 만드는 생성AI SNS - 트윅(Tweak) file 깊은바다 2023-09-04 466
딥러닝으로 음성합성을 해주는 서비스 - 네이버 클로바더빙 file 깊은바다 2020-02-09 471
사회적 거리를 지키는지 확인하는 지능형 CCTV 깊은바다 2020-04-23 477
인공지능 킬러앱의 등장, 그리고 모바일에서 인공지능으로 패러다임 변환 file 깊은바다 2022-10-10 513
AI 없이 힘낼 수 없는 엔비디아 지포스 RTX - 딥러닝 DLSS 기술 깊은바다 2020-09-07 517
스냅챕의 디즈니 필터 깊은바다 2021-03-12 529
목록
쓰기