레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5258 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
GPT3를 기반으로한 OpenAI API 유료화 깊은바다 2020-06-12 2536
경쟁을 통해 이미지를 생성하는 법을 배우는 GAN file 깊은바다 2017-03-20 2530
Stable Diffusion 포토샵 플러그인 깊은바다 2022-12-25 2415
라온피플의 머신러닝과 딥러닝 강의 깊은바다 2017-05-07 2385
핸즈온 머신러닝 2판 영문 초고 다운로드 깊은바다 2019-05-12 2367
구글이 만든 이미지 생성 딥러닝 BEGAN file [2] 깊은바다 2017-04-05 2307
얀 르쿤이 만든 최초의 CNN 테스트 영상 깊은바다 2020-01-19 2247
아카라이브 반실사 채널 - Stable Diffusion 실사 그림 file 깊은바다 2023-03-01 2195
뭔가가 웹사이트를 하나 발견했는데... file [4] LegenDUST 2017-08-23 2158
자습해도 모르겠던 딥러닝, 머리속에 인스톨 시켜드립니다 [2] 깊은바다 2017-09-12 2094
GTA5로 자율주행 구현 영상 깊은바다 2019-05-08 1996
사진 한 장으로 GAN 영상 생성 깊은바다 2019-05-23 1967
일기를 쓰면 그림을 그려주는 그림일기 서비스 file 깊은바다 2022-11-08 1926
얀 르쿤의 자기지도학습 강의 - The Power and Limits Of Deep Learning file 깊은바다 2019-07-13 1901
Style Transfer [1] NeuroWhAI 2018-04-21 1897
목록
쓰기