能力边界¶
RouteWise 的范围是刻意收窄的。本页说明它不做什么,方便你尽早判断是否合适。
定价¶
- 只表示按需、按 token 计量的供应商价格。
- 配额、并发限制、预留容量和订阅制定价都不在这个 API 内。
传输¶
- 没有通用 LLM 客户端、供应商 SDK 适配层、网络传输、认证或 API key 管理。
- 供应商客户端、凭据、派发、重试和响应处理都归应用所有。
选择¶
- RouteWise 在你配置的供应商名字之间做选择。端点和模型映射仍归应用。
- 它不做模型选择。
状态¶
- 观测、冷却、租约、估计、随机状态和计数器都存在于当前 Python 进程中。
- 不做持久化,也不跨进程共享。
observe无法摄入历史时间戳。
研究代码¶
论文专用的模拟器和实验工具维护在
eurosys27-ae
artifact 分支上,不属于这个库的 API。
为什么这样划¶
正是这条边界让 wheel 可以没有运行时依赖,也让 RouteWise 能放进一个已经有自己 客户端栈的应用里。一个接管传输的路由器,就不得不同时接管凭据、重试和供应商 SDK 版本。