레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5257 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
RNN과 LSTM에 대한 설명 [3] 깊은바다 2017-08-09 5873
구글의 새로운 딥러닝 강화학습인 월드 모델(World Models) file [4] 깊은바다 2018-04-01 5568
알파고의 딥러닝 알고리즘 file 깊은바다 2017-03-12 5494
배치 사이즈에 따라 GPU 메모리가 증가하는 이유 깊은바다 2020-07-28 5257
텐서플로우에서 딥러닝 CNN으로 숫자 인식 구현 file 깊은바다 2017-03-11 5010
구글 텐서플로우 첫걸음 - Tensorflow2.0 소개 [1] 깊은바다 2019-03-27 4561
딥러닝으로 2D 얼굴사진을 3D로 생성 file 깊은바다 2017-09-19 4473
Dall.E 2 Prompt Book - 프롬프트 작성 가이드 깊은바다 2022-07-14 4384
이젠 모델 구축도 학습도 필요없다, OpenAI의 이미지인식 모델 CLIP file 깊은바다 2021-03-07 4346
사진 한 장으로 움직이는 얼굴을 만드는 사이트 - Deep Nostalgia 깊은바다 2021-03-01 4278
이미지 탐지기 쉽게 구현하기 - Tensorflow Hub 깊은바다 2018-06-20 3988
Selfie, 비지도학습 이미지 사전훈련 모델 file 깊은바다 2019-06-15 3523
AI Duet - 피아노 반주를 자동으로 해주는 인공지능 깊은바다 2017-02-28 3427
애니메이션을 자동으로 만들어주는 GAN 깊은바다 2018-05-11 3417
텐서플로와 케라스 코드 비교 깊은바다 2018-06-06 3158
목록
쓰기