얼마 전 저희 회사에서 출시한 일상대화 AI 서비스는 클로바X를 쓰고 있습니다. 챗GPT와 비슷하게 QPM(Queries Per Minute)과 TPM(Tokens Per Minute) 제한이 있는데요. 클로바X의 QPM은 240이고 TPM은 50,000입니다. 둘 중 하나가 넘으면 에러코드를 반환합니다.

사용량 제한을 높이기 위해 네이버 클라우드 관계자분에게 연락을 드렸습니다. 저희 서비스가 고객사 중 가장 빠르게 성장하고 있다고 하시네요^^ 친절히 상담을 해주셔서 안심이 되었습니다.

챗GPT도 마찬가지지만 LLM 사용량에 제한이 있을 수밖에 없습니다. 무제한으로 풀었다간 디도스 공격이 들어올 수도 있으니까요. 다만 정상적인 고객사라면 안정적으로 사용량을 늘려줬으면 합니다.

서비스가 폭발적으로 성장할 때 LLM API가 따라와주지 못하면 큰 문제가 발생합니다. 물론 여러 LLM을 섞어 쓸 수도 있습니다. 하지만 대답 품질이 달라지고 프롬프트를 각각 조절해야 해서 좋은 방법은 아닙니다. 클로바X의 인기가 높아지는 만큼 믿고 쓸 수 있는 환경이 빨리 조성되었으면 합니다.

< CLOVA Studio 이용량 제어 정책 >

https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting