跳到正文
原文
testingcatalog· @testingcatalog · X·· 3 小时前AI 评分50

Inworld 推出面向消费级应用的 LLM 推理 API

AI 导读

Inworld 推出 Inworld Inference,一个面向消费类 AI 应用的 LLM 推理 API,支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。

正文 · AI 翻译

Inworld 刚刚推出了 Inworld Inference,这是一个专为消费级 AI 应用打造的 LLM 推理 API,支持包括 Gemma 4、GLM、DeepSeek 和 MiMo 在内的多款开源模型。

> @inworld 针对每个模型的运行方式进行了优化,为导师、陪伴、游戏等消费级应用提供更快的响应速度。

> 在 Gemma 4 26B 上,首字延迟中位数为 0.17 秒,而 OpenRouter 上其他提供商的中位数为 0.61 秒——快 3.6 倍。

> 在第 95 百分位,首字延迟为 0.31 秒,而这些提供商的中位数为 2.42 秒——快 7.8 倍。

> 开发者还可以设置请求,在首选模型失败或耗时过长时自动切换到备用模型。

来源:testingcatalog · x.com