레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5256 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
딥페이크 알고리즘 설명 깊은바다 2020-07-16 1782
대학교 게시판을 크롤링하여 만든 GPT2 모델 file 깊은바다 2020-07-18 916
자신의 사진과 선택한 옷들을 GAN으로 합성해서 보여주는 딥러닝 깊은바다 2020-07-21 1888
말로 설명하면 사진을 만들어주는 딥러닝 모델 - RetrieveGAN 깊은바다 2020-07-26 632
배치 사이즈에 따라 GPU 메모리가 증가하는 이유 깊은바다 2020-07-28 5256
StyleGAN을 이말년 웹툰으로 파인튜닝한 모델 깊은바다 2020-08-07 2711
셀카를 일반 사진으로 변환해주는 GAN 모델 - Unselfie file 깊은바다 2020-08-08 891
사진 한장으로 딥페이크 영상을 만드는 앱 - Reface 깊은바다 2020-08-18 26968
사진을 복원하는 딥러닝 모델 - DFDNet 깊은바다 2020-08-24 1223
3초 분량의 100만개 동영상 데이터셋 - Moments in Time 깊은바다 2020-09-05 568
AI 없이 힘낼 수 없는 엔비디아 지포스 RTX - 딥러닝 DLSS 기술 깊은바다 2020-09-07 517
사진을 디즈니 만화로 바뀌주는 딥러닝 모델 - Toonify 깊은바다 2020-09-21 1340
앤드류 응의 YOLO 강의 영상 깊은바다 2020-09-23 834
파이토치 버전 YOLO Colab 테스트 코드 file 깊은바다 2020-09-25 596
이미지 생성모델에서 특징 벡터를 추출하여 사진을 조작하는 방법 file 깊은바다 2020-10-09 1565
목록
쓰기