Free tier rate limits in model AI

Trong bài viết bài, mình sẽ giải thích các thuật ngữ thường gặp khi sử dụng một mô hình AI.

(This is a high level summary and there are per-model exceptions to these limits (e.g. some legacy models or models with larger context windows have different rate limits)).

Các thuật ngữ RPM, RPD, TPM, và Batch Queue Limit đề cập đến giới hạn sử dụng của các mô hình AI, đặc biệt khi sử dụng OpenAI API.

1. RPM – Requests per Minute

Requests per Minute (RPM) là số yêu cầu (requests) tối đa mà bạn có thể gửi đến API trong mỗi phút.
Ví dụ: Mô hình gpt-3.5-turbo có RPM là 3, nghĩa là bạn chỉ có thể gửi tối đa 3 yêu cầu mỗi phút. Nếu bạn vượt quá số lượng này, yêu cầu của bạn có thể bị giới hạn hoặc từ chối.

2. RPD – Requests per Day

Requests per Day (RPD) là số yêu cầu tối đa mà bạn có thể gửi đến API trong mỗi ngày.
Ví dụ: Các mô hình như text-embedding-3-large có RPD là 200, nghĩa là trong một ngày bạn chỉ có thể gửi tối đa 200 yêu cầu đến API. Điều này giúp hạn chế lượng yêu cầu và kiểm soát việc sử dụng quá mức.

3. TPM – Tokens per Minute

Tokens per Minute (TPM) là số lượng tokens tối đa có thể được xử lý bởi mô hình trong mỗi phút.
Tokens là các đơn vị nhỏ hơn trong văn bản (chúng có thể là từ, dấu câu, hoặc đoạn từ). Ví dụ: Từ “hello” là một token, trong khi câu “How are you?” có thể được chia thành nhiều tokens.
Ví dụ: Mô hình gpt-3.5-turbo có TPM là 40,000, nghĩa là bạn có thể gửi tối đa 40,000 tokens mỗi phút. Nếu bạn vượt quá số token này trong một phút, API có thể giới hạn bạn cho đến khi hạn mức được làm mới.

4. Batch Queue Limit

Batch Queue Limit là giới hạn của số lượng yêu cầu có thể được đưa vào hàng chờ xử lý.
Ví dụ: Với mô hình như text-embedding-3-large, Batch Queue Limit là 3,000,000, nghĩa là bạn có thể xếp hàng các yêu cầu với tối đa 3,000,000 tokens.
Giới hạn này áp dụng cho các yêu cầu không được xử lý ngay lập tức mà phải đợi trong hàng đợi (queue). Điều này quan trọng khi xử lý dữ liệu theo lô lớn (batch processing) mà cần phải xếp hàng trước khi xử lý.

Tóm tắt giới hạn cho các mô hình khác nhau:

gpt-3.5-turbo:
- RPM: 3
- RPD: 200
- TPM: 40,000
- Batch Queue Limit: 200,000
text-embedding-3-large/small và text-embedding-ada-002:
- RPM: 3,000
- RPD: 200
- TPM: 1,000,000
- Batch Queue Limit: 3,000,000
omni-moderation-*:
- RPM: 500
- RPD: 10,000
- TPM: 10,000
whisper-1 và tts-1:
- RPM: 3
- RPD: 200
dall-e-2:
- RPM: 5 img/min (5 hình ảnh mỗi phút)
dall-e-3:
- RPM: 1 img/min (1 hình ảnh mỗi phút)

Ý nghĩa của các giới hạn

Các giới hạn RPM, RPD, TPM, và Batch Queue Limit giúp quản lý tài nguyên hiệu quả, ngăn ngừa việc sử dụng quá mức và cung cấp trải nghiệm nhất quán cho người dùng.
RPM và RPD giới hạn số lượng yêu cầu API để tránh quá tải server.
TPM quản lý tài nguyên xử lý, đảm bảo không quá nhiều token được xử lý trong một khoảng thời gian ngắn.
Batch Queue Limit hữu ích cho xử lý hàng loạt yêu cầu, đảm bảo rằng bạn có thể đưa một lượng lớn dữ liệu vào hàng chờ mà không gây quá tải hệ thống.