레플리
글 수 221

텍스트 전처리시 RAM 스펙 질문

조회 수 990 추천 수 0 2021.02.03 10:40:14


텍스트전처리를 로컬에서 실행하려하는데

 

현재 RAM이 40기가인데 20기가 텍스트를 전처리하는데 램오버가 발생해

진행하기 어렵습니다..

 

텍스트 전처리시 사용하는 RAM은 보통 어느정도를 사용하시나요 ?

엮인글 :

노력하는돌

2021.04.02 10:49:45
*.241.91.131

전처리 중간중간 메모리 초기화를 해주시는게 좋습니다.

안 그러면 메모리는 아무리 많아도 부족해요 ㅎㅎ

아니면 텍스트를 짤라서 전처리를 하는 것도 한 가지 방법입니다.

저 같은 경우는 32G메모리로 12G텍스트 전처리해도 여유롭게 했습니다.

Nike

2021.05.06 10:18:38
*.133.55.106

메모리를 초기화하는 방법이 무엇이 있나요 ? 제너레이터를 말씀하시는게 맞을까요 ?

List of Articles
제목 글쓴이 날짜 조회 수sort
데이터 시각화를 공부하기 좋은 책 없을까요. [1] NeuroWhAI 2018-05-23 1001
수학잘하는 능력은 필수일까요? [4] AIdogfoot 2018-03-20 1007
안녕하세요 이제 막 공부하기 시작한 학부생입니다. sk211 2021-01-16 1009
합성곱신경망의 패딩에 관한 질문 [2] 디쁘러닝 2019-01-10 1012
인공지능개발자를 꿈꾸고있습니다 [6] AIdogfoot 2018-03-18 1013
신경망 관련 질문 드립니다. [1] 엄고 2020-04-28 1015
TensorFlow.js [1] NeuroWhAI 2018-03-31 1016
혹시 여기 전부 대학생들만 있으시나요? [5] 맛동산 2018-02-27 1016
안녕하세요. 가입합니다. [1] 심봉사 2019-07-20 1017
궁금한게 있어 여쭙니다 [1] 카카제 2019-03-08 1019
가입! [1] 뭐지What 2016-03-26 1021
카카오 i 오픈빌더 관련 질문입니다. [2] Dope 2019-03-28 1021
안녕하세요 시각예술계열 전공자가 장문으로 질문 드릴게 있어 여기까지 왔습니다. [3] 재앤더플루이드 2019-07-14 1023
깊은바다님께 깊은 자문을 구하고싶습니다. [2] wcchoi95 2017-11-29 1025
매트릭스에서 기계가 인간을 지배하게된 배경 깊은바다 2017-04-05 1026