레플리
글 수 288

클로바X의 사용량 제한 - QPM과 TPM

조회 수 159 추천 수 0 2024.04.01 21:50:28


얼마 전 저희 회사에서 출시한 일상대화 AI 서비스는 클로바X를 쓰고 있습니다. 챗GPT와 비슷하게 QPM(Queries Per Minute)과 TPM(Tokens Per Minute) 제한이 있는데요. 클로바X의 QPM은 240이고 TPM은 50,000입니다. 둘 중 하나가 넘으면 에러코드를 반환합니다.

 

사용량 제한을 높이기 위해 네이버 클라우드 관계자분에게 연락을 드렸습니다. 저희 서비스가 고객사 중 가장 빠르게 성장하고 있다고 하시네요^^ 친절히 상담을 해주셔서 안심이 되었습니다.

 

챗GPT도 마찬가지지만 LLM 사용량에 제한이 있을 수밖에 없습니다. 무제한으로 풀었다간 디도스 공격이 들어올 수도 있으니까요. 다만 정상적인 고객사라면 안정적으로 사용량을 늘려줬으면 합니다.

 

서비스가 폭발적으로 성장할 때 LLM API가 따라와주지 못하면 큰 문제가 발생합니다. 물론 여러 LLM을 섞어 쓸 수도 있습니다. 하지만 대답 품질이 달라지고 프롬프트를 각각 조절해야 해서 좋은 방법은 아닙니다. 클로바X의 인기가 높아지는 만큼 믿고 쓸 수 있는 환경이 빨리 조성되었으면 합니다.

 

 

 

< CLOVA Studio 이용량 제어 정책 >

https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting

 

엮인글 :
List of Articles
제목 글쓴이 날짜 조회 수
심심이와 이루다1.0같은 검색 기반 챗봇의 장점 file 깊은바다 2024-06-02 135
GPT-4o가 GPT-4보다 한글 문장 품질이 훨씬 높아짐 file 깊은바다 2024-05-20 127
GPT-4o, GPT-3.5-turbo, 클로바X 가격 비교 file 깊은바다 2024-05-15 284
감성대화에서 클로바X가 챗GPT보다 뛰어난 이유 깊은바다 2024-05-10 110
MS 코파일럿, 한국어 토큰수 2배에서 1.1배로 감소 file 깊은바다 2024-05-04 179
5배 싸진 클로바X의 경량화 모델 - HCX-DASH file 깊은바다 2024-04-26 137
클로바X의 사용량 제한 - QPM과 TPM 깊은바다 2024-04-01 159
Pi를 만든 Inflection AI, MS로 대거 이직한 이유 깊은바다 2024-03-25 145
LLaMA나 Mistral이 계속 무료로 유지될 수 있을까 깊은바다 2024-03-05 336
GPT-3.5와 클로바X 가격 비교 file 깊은바다 2024-02-25 452
OpenAI, 성능은 높아지고 가격은 싸진 새로운 모델 공개 file 깊은바다 2024-01-26 369
AI 휴대용 기기 R1을 만든 Rabbit의 대표 Jesse Lyu 깊은바다 2024-01-12 333
화면을 보고 스마트폰 앱 사용방법을 배우는 모델 - AppAgent file 깊은바다 2024-01-08 382
LLM의 새로운 기법 - Merge와 DPO file 깊은바다 2024-01-02 1394
업스테이지 SOLAR 10.7B에서 사용한 DUS 모델 확장 방법 file 깊은바다 2023-12-27 580