跳转至

能力边界

RouteWise 的范围是刻意收窄的。本页说明它不做什么,方便你尽早判断是否合适。

定价

  • 只表示按需、按 token 计量的供应商价格。
  • 配额、并发限制、预留容量和订阅制定价都不在这个 API 内。

传输

  • 没有通用 LLM 客户端、供应商 SDK 适配层、网络传输、认证或 API key 管理。
  • 供应商客户端、凭据、派发、重试和响应处理都归应用所有。

选择

  • RouteWise 在你配置的供应商名字之间做选择。端点和模型映射仍归应用。
  • 它不做模型选择。

状态

  • 观测、冷却、租约、估计、随机状态和计数器都存在于当前 Python 进程中。
  • 不做持久化,也不跨进程共享。
  • observe 无法摄入历史时间戳。

研究代码

论文专用的模拟器和实验工具维护在 eurosys27-ae artifact 分支上,不属于这个库的 API。

为什么这样划

正是这条边界让 wheel 可以没有运行时依赖,也让 RouteWise 能放进一个已经有自己 客户端栈的应用里。一个接管传输的路由器,就不得不同时接管凭据、重试和供应商 SDK 版本。