Pool 是一个稳定的模型名,外加一整套策略。你的代码只发 slug,由平台决定哪个上游来回答、可以花多少。
一个 Pool 固定了什么
| 设置 | 它决定什么 |
|---|---|
| 能力 | 这个 Pool 能服务哪些接口,例如 text、embedding 或 ocr |
| Provider 连接 | 这次调用使用的已审阅凭据与端点 |
| 模型 | slug 背后真正的上游模型 |
| Fallback | 主模型无法安全回答时使用的备用 provider/模型 |
| 安全重试 | 允许重试多少次已确认不产生费用的尝试 |
| 熔断策略 | 连续失败阈值与冷却时间,超过后不再调用 |
| 硬预算 | 这个 Pool 每月可以结算的上限 |
| 速率上限 | 这个 Pool 每分钟的请求数 |
| 状态 | active 或 paused |
这些设置是一起生效的。修改 Pool 会原子地写入整套策略,并使用乐观并发保护,两个操作者不可能悄悄 互相覆盖。
slug 就是模型名
GET /v1/models 返回这个 Key 能调用的 Pool,而 Pool 的 slug 就是你客户端里的模型名。厂商模型 id
不会出现在你的配置或请求里。
生命周期
- 暂停立即停止流量。调用方会拿到错误,而不是被悄悄改道。
- 恢复只有在权益与 provider 连接都通过重新校验后才允许。
- 删除会结束这个 slug,授权给它的 Key 同时失去这项授权。
预算与限额
每个被接受的请求都会先从这个 Pool 的硬预算里预留,再调用上游;上游返回后结算已确认的费用。如果
请求会超出剩余预算,会直接以 429 拒绝,而不是先服务再事后计费。速率限制按 Pool 执行。