TypeLLM 开源：JSON Schema 驱动的类型安全 LLM 工作流

AI 导读

开源项目 TypeLLM 发布，可将整个多步 AI 工作流定义为一个 JSON Schema，并在单次 API 调用中作为依赖图执行，输出类型安全保证。它基于 SGLang 实现约束解码，对枚举、布尔、数字等字段限制候选 token，并复用缓存前缀，即使使用未经修改的 Qwen checkpoint 也能获得 schema 保证的输出。

正文 · AI 翻译

开源遇上类型安全的 AI，这就是 TypeLLM。

聊天模型给你一个回复，决策模型给你一个选择，而 TypeLLM 的目标是在一次 API 调用中运行你的整个工作流。

大多数生产流水线需要的是介于两者之间的东西：多个带类型的答案，其中一些依赖于另一些，还有几个只在特定条件下才应该存在。

TypeLLM 将这整个结构作为一个 JSON Schema 接收，并将其作为依赖图在单个共享上下文上执行。

类型化的 LLM 输出，开源构建。

你无需改动权重，就能从一个原版 Qwen 检查点获得有 schema 保证的输出。

这种保证来自请求的构建和解码方式。

TypeLLM 构建在 SGLang 之上，将 JSON Schema 转换为受约束的解码：枚举或布尔值只对单个 token 打分，数字限制位数，还有一个复用缓存前缀的依赖图。

因此，某个字段不可能返回其枚举之外的值，因为解码器只考虑允许的候选值。