Skip to content

Pools

你的代码要发的模型名,以及它背后的路由、预算与生命周期策略。

Updated View as Markdown
For humans

Pool 是一个稳定的模型名,外加一整套策略。你的代码只发 slug,由平台决定哪个上游来回答、可以花多少。

一个 Pool 固定了什么

设置 它决定什么
能力 这个 Pool 能服务哪些接口,例如 text、embedding 或 ocr
Provider 连接 这次调用使用的已审阅凭据与端点
模型 slug 背后真正的上游模型
Fallback 主模型无法安全回答时使用的备用 provider/模型
安全重试 允许重试多少次已确认不产生费用的尝试
熔断策略 连续失败阈值与冷却时间,超过后不再调用
硬预算 这个 Pool 每月可以结算的上限
速率上限 这个 Pool 每分钟的请求数
状态 active 或 paused

这些设置是一起生效的。修改 Pool 会原子地写入整套策略,并使用乐观并发保护,两个操作者不可能悄悄 互相覆盖。

slug 就是模型名

GET /v1/models 返回这个 Key 能调用的 Pool,而 Pool 的 slug 就是你客户端里的模型名。厂商模型 id 不会出现在你的配置或请求里。

生命周期

  • 暂停立即停止流量。调用方会拿到错误,而不是被悄悄改道。
  • 恢复只有在权益与 provider 连接都通过重新校验后才允许。
  • 删除会结束这个 slug,授权给它的 Key 同时失去这项授权。

预算与限额

每个被接受的请求都会先从这个 Pool 的硬预算里预留,再调用上游;上游返回后结算已确认的费用。如果 请求会超出剩余预算,会直接以 429 拒绝,而不是先服务再事后计费。速率限制按 Pool 执行。

金额视图见用量与计费,错误格式见 请求。

Type to search…

↑↓ navigate↵ selectEsc close