레플리
글 수 203


Image for post

 

https://towardsdatascience.com/how-to-break-gpu-memory-boundaries-even-with-large-batch-sizes-7a9c27a400ce

 

 

 

파라미터는 모든 배치마다 공유하기 때문에 하나만 있으면 됩니다. 하지만 오차역전파에서 각 노드마다 저장하는 activation output은 배치가 늘어날수록 커집니다. forward pass에서 activation output을 저장하고 있어야, backward pass에서 그래디언트 계산하고 파라미터를 업데이트할 수 있습니다.

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
사진 한장으로 딥페이크 영상을 만드는 앱 - Reface 깊은바다 2020-08-18 26883
딥러닝의 종류 간단 설명 file 깊은바다 2017-03-11 25122
YOLO, Object Detection Network - 알고리즘 설명 file 깊은바다 2019-06-02 24967
신경망에 활성화 함수가 필요한 이유 file 깊은바다 2019-05-14 23714
만화 캐릭터를 자동으로 생성하는 서비스 - Waifu file 깊은바다 2019-08-23 20314
DALL.E를 직접 테스트해볼 수 있는 사이트 - DALL.E mini file 깊은바다 2022-05-17 11519
Quick, Draw! - 구글이 만든 그림 맞추기 깊은바다 2017-02-28 10713
퓨샷 러닝(few-shot learning)과 메타 러닝(meta-learning) 깊은바다 2020-06-27 10259
딥러닝 텐서플로를 사용하여 코카콜라 병뚜껑 경품번호 인식 깊은바다 2018-01-23 8607
딥러닝 합성곱 신경망(CNN) 개요 file 깊은바다 2017-03-05 7678
딥러닝 이미지 편집 프로그램 - GAN Paint 깊은바다 2019-01-12 7231
네이버의 손글씨 자동생성 인공지능 file 깊은바다 2019-09-08 7124
불쾌한 골짜기에서 대유쾌 마운틴으로 - 이미지 생성AI file 깊은바다 2023-03-08 6931
텍스트를 이미지로 생성해주는 사이트 - Text2Art (VQGAN-CLIP) file 깊은바다 2021-11-10 6865
딥러닝의 미래는 바로 비지도학습 깊은바다 2019-06-06 6353