레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5256 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
CNN 초보자가 만드는 초보자 가이드 깊은바다 2017-04-09 1041
메타AI의 멀티모달 자기지도학습 모델인 Data2vec 깊은바다 2022-01-26 1032
GAN으로 사진에서 특정 부분을 지워주는 서비스 - Cleanup.pictures file 깊은바다 2022-01-17 1026
딥러닝(Deep Learning)에 대한 소개 깊은바다 2016-03-21 1000
어떻게 컴퓨터가 사진을 이해하게 되었는가 깊은바다 2017-03-31 995
문장을 사진으로 변환하는 GPT-3 모델, DALL-E 깊은바다 2021-01-09 983
95생 천재 소녀가 만든 Pika가 빅테크들을 이길 수 있었던 이유 file [2] 깊은바다 2023-12-24 974
스케치를 사진으로 변환하는 딥러닝 - NVIDIA의 GauGAN 깊은바다 2019-03-20 968
원티드는 어떻게 AI로 채용 결과를 예측하고 매칭할까 깊은바다 2021-11-09 961
자신의 이름을 음성으로 만들어 주는 사이트 깊은바다 2019-02-04 956
딥러닝 라이브러리 텐서플로우의 기본 사용법 깊은바다 2017-03-03 949
책 읽어주는 딥러닝 깊은바다 2017-11-23 943
딥러닝의 기본 깊은바다 2019-07-12 942
가중치를 하나로 공유하고 모델의 구조만 찾는 WANN 깊은바다 2019-09-10 916
대학교 게시판을 크롤링하여 만든 GPT2 모델 file 깊은바다 2020-07-18 916
목록
쓰기