레플리
글 수 203

배치 사이즈에 따라 GPU 메모리가 증가하는 이유

조회 수 5258 추천 수 0 2020.07.28 03:24:40
깊은바다 *.68.248.98


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

이 게시물을
엮인글 :
목록
List of Articles
제목 글쓴이 날짜sort 조회 수
딥마인드의 Agent57, 아타리 게임 벤치마크 정복 깊은바다 2020-04-03 456
딥페이크로 일론 머스크인 척 친구들을 속이는 영상 깊은바다 2020-04-19 1389
사회적 거리를 지키는지 확인하는 지능형 CCTV 깊은바다 2020-04-23 477
딥러닝 웹서비스 개발 도전기 - 연예인 얼굴 판별기 깊은바다 2020-05-01 3109
미디가 아니라 오디오로 음악을 만들어내는 OpenAI의 생성 모델 - Jukebox file 깊은바다 2020-05-02 664
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 735
CNN 시각화 사이트 - CNN Explainer 깊은바다 2020-05-10 1460
팩맨 게임을 딥러닝으로 시뮬레이션한 GameGAN 깊은바다 2020-05-23 707
AI는 '스스로 학습'할 수 있을까? - 자기지도학습 깊은바다 2020-06-02 546
스케치를 얼굴사진으로 변형하는 딥러닝 생성모델 - DeepFaceDrawing 깊은바다 2020-06-07 554
GPT3를 기반으로한 OpenAI API 유료화 깊은바다 2020-06-12 2536
자동회귀(autoregressive)로 이미지를 생성하는 iGPT file 깊은바다 2020-06-18 821
퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning) 깊은바다 2020-06-27 10301
생성 모델이 일반 인공지능(AGI)으로 가는 열쇠 file 깊은바다 2020-06-29 1700
GAN으로 만든 모델 사진을 판매하는 일본 회사 깊은바다 2020-07-08 577
목록
쓰기