텍스트전처리를 로컬에서 실행하려하는데
현재 RAM이 40기가인데 20기가 텍스트를 전처리하는데 램오버가 발생해
진행하기 어렵습니다..
텍스트 전처리시 사용하는 RAM은 보통 어느정도를 사용하시나요 ?
2021.04.02 10:49:45 *.241.91.131
전처리 중간중간 메모리 초기화를 해주시는게 좋습니다.
안 그러면 메모리는 아무리 많아도 부족해요 ㅎㅎ
아니면 텍스트를 짤라서 전처리를 하는 것도 한 가지 방법입니다.
저 같은 경우는 32G메모리로 12G텍스트 전처리해도 여유롭게 했습니다.
2021.05.06 10:18:38 *.133.55.106
메모리를 초기화하는 방법이 무엇이 있나요 ? 제너레이터를 말씀하시는게 맞을까요 ?
전처리 중간중간 메모리 초기화를 해주시는게 좋습니다.
안 그러면 메모리는 아무리 많아도 부족해요 ㅎㅎ
아니면 텍스트를 짤라서 전처리를 하는 것도 한 가지 방법입니다.
저 같은 경우는 32G메모리로 12G텍스트 전처리해도 여유롭게 했습니다.