Exa Dynamic Highlights 降低 token 消耗
Total Tokens per Task 衡量模型的输入、推理和输出 token 总量。 Exa (auto, Dynamic Highlights) 每个任务使用 157k tokens,比 auto 配标准 highlights(299k)少 47%。Exa (lite, Dynamic Highlights) 使用 164k tokens,减少 45%。 Dynamic Highlights 减少了返回给模型的搜索内容量,从而降低 token 消耗和模型推理成本。在 Search API 中,只有 Perplexity (low, 127k) 和 Perplexity (medium, 137k) 每个任务使用的 token 更少。
Total Tokens per Task measures the model's input, reasoning and output tokens
Exa (auto, Dynamic Highlights) uses 157k tokens per task, 47% fewer than auto with standard highlights (299k). Exa (lite, Dynamic Highlights) uses 164k tokens, a 45% reduction
Dynamic Highlights reduces the amount of search content returned to the model, lowering token consumption and model inference costs. Among Search APIs, only Perplexity (low, 127k) and Perplexity (medium, 137k) use fewer tokens per task
来源:ArtificialAnlys · x.com