레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5257 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
Selfie, 비지도학습 이미지 사전훈련 모델 file 깊은바다 2019-06-15 3524
목소리와 입모양을 변경할 수 있는 GAN 모델 깊은바다 2019-06-13 1388
딥러닝의 미래는 바로 비지도학습 깊은바다 2019-06-06 6378
YOLO, Object Detection Network - 알고리즘 설명 file 깊은바다 2019-06-02 25107
사진 한 장으로 GAN 영상 생성 깊은바다 2019-05-23 1967
객체 검출 딥러닝 모델인 YOLO의 테드 영상 깊은바다 2019-05-22 2819
스냅챕의 성별 변환 필터는 GAN을 사용했을까 깊은바다 2019-05-15 685
신경망에 활성화 함수가 필요한 이유 file 깊은바다 2019-05-14 23724
핸즈온 머신러닝 2판 영문 초고 다운로드 깊은바다 2019-05-12 2365
GTA5로 자율주행 구현 영상 깊은바다 2019-05-08 1993
전신 사진을 생성하는 GAN 깊은바다 2019-05-05 832
인공신경망 학습 레시피 - 안드레이 카파시의 딥러닝 실전 노하우 깊은바다 2019-04-27 1052
MS의 챗봇 린나, 딥러닝으로 노래를 부르는 가수로 데뷔 깊은바다 2019-04-10 561
10분안에 배우는 머신러닝 - GAN 알고리즘 원리와 응용분야 깊은바다 2019-04-01 1132
구글 텐서플로우 첫걸음 - Tensorflow2.0 소개 [1] 깊은바다 2019-03-27 4561
목록
쓰기