레플리
글 수 204

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5259 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
이젠 모델 구축도 학습도 필요없다, OpenAI의 이미지인식 모델 CLIP file 깊은바다 2021-03-07 4363
Dall.E 2 Prompt Book - 프롬프트 작성 가이드 깊은바다 2022-07-14 4401
딥러닝으로 2D 얼굴사진을 3D로 생성 file 깊은바다 2017-09-19 4477
구글 텐서플로우 첫걸음 - Tensorflow2.0 소개 [1] 깊은바다 2019-03-27 4561
텐서플로우에서 딥러닝 CNN으로 숫자 인식 구현 file 깊은바다 2017-03-11 5013
배치 사이즈에 따라 GPU 메모리가 증가하는 이유 깊은바다 2020-07-28 5259
알파고의 딥러닝 알고리즘 file 깊은바다 2017-03-12 5503
구글의 새로운 딥러닝 강화학습인 월드 모델(World Models) file [4] 깊은바다 2018-04-01 5592
RNN과 LSTM에 대한 설명 [3] 깊은바다 2017-08-09 5873
딥러닝의 미래는 바로 비지도학습 깊은바다 2019-06-06 6388
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 6912
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 7179
딥러닝 이미지 편집 프로그램 - GAN Paint 깊은바다 2019-01-12 7237
불쾌한 골짜기에서 대유쾌 마운틴으로 - 이미지 생성AI file 깊은바다 2023-03-08 7399
딥러닝 합성곱 신경망(CNN) 개요 file 깊은바다 2017-03-05 7787
목록
쓰기