Rate Limit và Quota
Giới hạn được thực thi server-side theo API key và subscription.
Gateway dùng Redis cho rate limit theo cửa sổ phút và PostgreSQL cho quota durable. Redis không thay thế ledger subscription/usage trong PostgreSQL.
Khi Redis rate-limit không khả dụng, đường billable fail closed. Khi quota hết, Backend chặn request trước khi chọn provider.
Điểm cần nhớ
- Rate limit theo API key và subscription, dựa trên plan hiện hành.
- Quota được reserve trước dispatch và settle/release theo outcome.
- Internal retry/fallback không tự động tính phí nhiều lần cho user.
- Dashboard Usage và realtime quota chỉ là view; Backend luôn là nơi enforcement.
- Client streaming phải giới hạn tổng byte, kích thước event/buffer và output tích lũy.