레플리
글 수 292

클로바X의 사용량 제한 - QPM과 TPM

조회 수 263 추천 수 0 2024.04.01 21:50:28


얼마 전 저희 회사에서 출시한 일상대화 AI 서비스는 클로바X를 쓰고 있습니다. 챗GPT와 비슷하게 QPM(Queries Per Minute)과 TPM(Tokens Per Minute) 제한이 있는데요. 클로바X의 QPM은 240이고 TPM은 50,000입니다. 둘 중 하나가 넘으면 에러코드를 반환합니다.

 

사용량 제한을 높이기 위해 네이버 클라우드 관계자분에게 연락을 드렸습니다. 저희 서비스가 고객사 중 가장 빠르게 성장하고 있다고 하시네요^^ 친절히 상담을 해주셔서 안심이 되었습니다.

 

챗GPT도 마찬가지지만 LLM 사용량에 제한이 있을 수밖에 없습니다. 무제한으로 풀었다간 디도스 공격이 들어올 수도 있으니까요. 다만 정상적인 고객사라면 안정적으로 사용량을 늘려줬으면 합니다.

 

서비스가 폭발적으로 성장할 때 LLM API가 따라와주지 못하면 큰 문제가 발생합니다. 물론 여러 LLM을 섞어 쓸 수도 있습니다. 하지만 대답 품질이 달라지고 프롬프트를 각각 조절해야 해서 좋은 방법은 아닙니다. 클로바X의 인기가 높아지는 만큼 믿고 쓸 수 있는 환경이 빨리 조성되었으면 합니다.

 

 

 

< CLOVA Studio 이용량 제어 정책 >

https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting

 

엮인글 :
List of Articles
제목 글쓴이 날짜sort 조회 수
구글 제미나이 2.0의 감성대화 능력 우종하 2025-02-07 5
Pre-training 시대에서 Post-training 시대로 전환 우종하 2024-12-21 132
RAG를 사용한 장기기억의 한계 깊은바다 2024-10-12 251
OpenAI의 o1, IQ 테스트에서 인간의 평균을 훨씬 뛰어넘음 file 깊은바다 2024-09-16 149
심심이와 이루다1.0같은 검색 기반 챗봇의 장점 file 깊은바다 2024-06-02 281
GPT-4o가 GPT-4보다 한글 문장 품질이 훨씬 높아짐 file 깊은바다 2024-05-20 200
GPT-4o, GPT-3.5-turbo, 클로바X 가격 비교 file 깊은바다 2024-05-15 472
감성대화에서 클로바X가 챗GPT보다 뛰어난 이유 깊은바다 2024-05-10 219
MS 코파일럿, 한국어 토큰수 2배에서 1.1배로 감소 file 깊은바다 2024-05-04 244
5배 싸진 클로바X의 경량화 모델 - HCX-DASH file 깊은바다 2024-04-26 279
클로바X의 사용량 제한 - QPM과 TPM 깊은바다 2024-04-01 263
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 203
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 451
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 717
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 449