跳到正文
原文
EBorgnia· @EBorgnia · X·· 21 小时前AI 评分45

OpenRouter 更新多维度模型路由

AI 导读

OpenRouter 更新模型路由系统,允许模型提供商按成本、吞吐量、准确率等维度展示差异化。这一更新推动服务商改进服务引擎,以实际帮助终端用户。OpenRouter 称自身是最大的 token 开放市场,对 LLM 推理领域的竞争至关重要,并在算法初期变更中保持透明。

正文 · AI 翻译

OpenRouter 是最大的令牌开放市场,一直为 LLM 推理领域带来健康的竞争。

推理很复杂,可以从多个维度进行优化(成本、吞吐量、准确率),因此,作为交易所,他们肩负着一项艰巨的任务:决定如何在各提供商之间进行路由。

此次更新现在允许提供商在这些维度中的任意一个或全部维度上展现差异化优势,也促使像我们这样的提供商以真正对终端用户有益的方式改进服务引擎。

在 OR 逐步推出部分初始变更期间,对这套算法进行红队测试一直很有趣;我们也由衷感谢整个过渡过程中团队始终保持的透明度。

如果你还没了解过这套新系统,一定要去看看文档!它真的非常出色。

openrouter.ai/docs/guides/pr…

来源:EBorgnia · x.com