Exa Dynamic Highlights 降低 token 消耗

AI 导读

Total Tokens per Task 衡量模型的输入、推理和输出 token 总量。 Exa (auto, Dynamic Highlights) 每个任务使用 157k tokens，比 auto 配标准 highlights（299k）少 47%。Exa (lite, Dynamic Highlights) 使用 164k tokens，减少 45%。 Dynamic Highlights 减少了返回给模型的搜索内容量，从而降低 token 消耗和模型推理成本。在 Search API 中，只有 Perplexity (low, 127k) 和 Perplexity (medium, 137k) 每个任务使用的 token 更少。

正文 · AI 翻译

每个任务的总 Token 数衡量的是模型的输入、推理和输出 token 量。

Exa（auto，Dynamic Highlights）每个任务使用 157k token，比使用标准 highlights 的 auto（299k）少 47%。Exa（lite，Dynamic Highlights）使用 164k token，减少 45%。

Dynamic Highlights 减少了返回给模型的搜索内容量，从而降低 token 消耗和模型推理成本。在各家 Search API 中，只有 Perplexity（low，127k）和 Perplexity（medium，137k）每个任务使用的 token 更少。