레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5257 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜 조회 수sort
소프트웨어 개발 경험이 먼저다 - 딥러닝 역시 S/W 기술의 하나일 뿐 깊은바다 2021-07-14 914
GAN을 활용한 My handwriting styler 깊은바다 2019-10-20 913
쉬운 딥러닝 강의 슬라이드 깊은바다 2017-04-09 906
남세동의 딥러닝 이야기 깊은바다 2018-06-22 903
딥러닝 챗봇에 대한 오해 깊은바다 2020-02-25 902
셀카를 일반 사진으로 변환해주는 GAN 모델 - Unselfie file 깊은바다 2020-08-08 893
GAN의 상용화를 알리는 시작 - 포토샵 뉴럴 필터 깊은바다 2020-10-22 884
Recurrent Neural Network (RNN) 이해하기 - MNIST 숫자 인식 깊은바다 2018-04-11 879
제프리 힌튼, 얀 르쿤, 요슈아 벤지오가 말하는 딥러닝의 미래 깊은바다 2021-07-08 877
인공지능 과학자의 꿈, 범용 AI는 가능할까 깊은바다 2021-10-15 865
고해상도 GAN - A Style-Based Generator Architecture for GAN 깊은바다 2018-12-15 849
소프트웨어 2.0 깊은바다 2018-08-14 846
3D 이미지를 만드는 GAN - StyleNeRF 깊은바다 2021-12-20 841
어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? - 기계독해(MRC) 깊은바다 2020-01-14 836
앤드류 응의 YOLO 강의 영상 깊은바다 2020-09-23 836
목록
쓰기