레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5258 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
사진을 디즈니 만화로 바뀌주는 딥러닝 모델 - Toonify 깊은바다 2020-09-21 1343
오픈소스로 공개된 Text-to-Image 모델 - Stable Diffusion 깊은바다 2022-09-07 1352
텐서플로우로 선형 회귀 구현 file 깊은바다 2017-03-09 1360
텐서플로우에서 소프트맥스로 숫자 인식 구현 file 깊은바다 2017-03-09 1373
목소리와 입모양을 변경할 수 있는 GAN 모델 깊은바다 2019-06-13 1388
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 1389
R-CNN 에서 부터 Mask R-CNN 까지 깊은바다 2019-09-03 1407
Transformer와 동급의 성능에 속도는 훨씬 빨라진 MLP-Mixer file 깊은바다 2021-06-11 1447
CNN 시각화 사이트 - CNN Explainer 깊은바다 2020-05-10 1460
스탠포드 딥러닝 강의 한글화 프로젝트 깊은바다 2017-02-28 1555
이미지 생성모델에서 특징 벡터를 추출하여 사진을 조작하는 방법 file 깊은바다 2020-10-09 1579
쉽게 풀어쓴 딥 러닝의 거의 모든 것 file 깊은바다 2016-03-21 1612
Spiking Neural Networks: 생물학적 신경망을 모방한 차세대 신경망 [2] 깊은바다 2018-08-27 1642
미국에서 Dalle Mini로 짤(Meme)을 만드는게 유행 file 깊은바다 2022-06-19 1648
비지도학습으로 고양이를 판단하는 구글브레인의 딥러닝 모델 file 깊은바다 2018-10-01 1693
목록
쓰기