레플리
글 수 203


K-001.png

 

http://aidev.co.kr/chatbotdeeplearning/8881

 

 

 

며칠 전 구글에서 Meena라는 일상대화 모델을 공개했습니다. 파라미터나 데이터셋의 크기가 기존 모델들보다 압도적으로 많습니다. TPU-v3 2048 코어로 한 달이나 돌렸는데요. 구글 클라우드로 대충 13억 정도입니다. 개발을 위해서 여러 번 학습한다는 것을 감안하면 총 비용은 훨씬 올라갑니다.

 

최근 IT 기술이 딥러닝으로 이동하는 추세입니다. 몇 년전에는 딥러닝 모델을 만들때 컴퓨터 한 대로 하루 이틀 학습하면 충분했었는데요. 이제는 작은 스타트업이 감당하기 점점 어려워지고 있습니다. 아무리 개인 역량이 뛰어나다고 해도 충분한 자원이 없으면 경쟁에 불리합니다.

 

소규모 업체는 보통 GPU 달린 컴퓨터에 모델을 돌려놓고 다음 날 확인을 합니다. 결과를 보고 조금 수정하고 실행시켜고 또 한참을 대기합니다. 반면에 구글 같은 기업들은 TPU Pod 같은 고성능 머신을 동시에 여러개 운영하며 테스트합니다. 당연히 개발 속도에서 따라잡기가 불가능합니다. 앞으로 딥러닝 시대에는 글로벌 대기업과 나머지 업체들간의 차이가 점점 커질거라 생각합니다.

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수sort
전신 사진을 생성하는 GAN 깊은바다 2019-05-05 831
알렉스넷과 Seq2Seq의 창시자 일리야 수츠케버(Ilya Sutskever) 깊은바다 2020-11-17 827
당근마켓에서 딥러닝 활용하기 - 불량 게시물 검사 깊은바다 2017-12-23 818
AutoML-Zero, 진화적 알고리즘을 사용하여 신경망 구조 설계 [2] 깊은바다 2020-03-13 817
자동회귀(autoregressive)로 이미지를 생성하는 iGPT file 깊은바다 2020-06-18 817
사진을 텍스트로 설명 - CaptionBot file 깊은바다 2016-04-07 793
딥러닝 이론에서 텐서플로 실습까지 [2] 깊은바다 2017-11-08 786
Stable Diffusion을 사용한 사진 변환 앱 Lensa AI, 앱스토어 1위 달성 깊은바다 2022-12-09 785
스케치와 색을 지정하여 셀카를 편집하는 SC-FEGAN 깊은바다 2019-02-22 769
딥러닝이 작동하는 원리는? 깊은바다 2019-11-17 768
딥러닝 역사 깊은바다 2018-07-10 749
미드저니로 생성한 90년대 중국 사진들 - 콘텐츠 산업의 혁신 file 깊은바다 2023-03-30 734
Semantic Segmentation을 활용한 차량 파손 탐지 딥러닝 모델 개발기 깊은바다 2020-02-14 731
순차적으로 여러가지 일을 동시에 배우는 신경망 깊은바다 2017-03-16 729
얀 르쿤, 자기지도학습이 강화학습보다 중요 깊은바다 2020-05-03 717