Artificial Analysis 评测 DeepSeek Search API:Search Index 得分 69
Artificial Analysis 评测 DeepSeek Search API,其 Artificial Analysis Search Index 得分为 69,在 27 款搜索产品中排名第 17。
DeepSeek Search 在 Artificial Analysis Search Index 上首次亮相,得分 69,在 27 款搜索产品中排名第 17;其价格是榜单上所有付费搜索 API 中最低的
@deepseek_ai 于 10 月 17 日推出了 Search API。我们在 Stirrup 智能体测试框架中对其进行了基准测试,其中 GPT-5.6 Luna(medium)将 DeepSeek Search 作为 web_search 工具调用,以完成来自 BrowseComp、DeepSearchQA 和 AA-Omniscience 的一系列任务。
DeepSeek Search 的价格为每 1k 次搜索 0.75 美元,单次搜索成本低于我们进行基准测试的其他所有付费搜索 API,也低于 Octen、Parallel(turbo)和 Parallel(fast)的 1 美元。其每项任务成本约为 0.032 美元,在 27 款产品中排名第 5 低,比其他 25 款搜索 API 中的 20 款更便宜(中位数为 0.066 美元),与 Nimble(lite)持平。TinyFish、Octen、Parallel(turbo)和 Parallel(fast)的成本更低。
DeepSeek Search 的主要基准测试结果:
➤ Artificial Analysis Search Index:DeepSeek Search 得分 69,比同一模型不使用搜索时(33 分)提升了 36 分。其得分介于 TinyFish 的 71 分和 Linkup(standard)的 68 分之间
➤ AA-Omniscience 是 DeepSeek Search 表现最强的基准测试:在我们的专有事实性答案基准测试中,准确率达到 70%。这使其在 27 款产品中排名第 10,落后并列领先的 Exa(auto, dynamic highlights)和 Firecrawl(73%)3 分。需要跨多次搜索进行多跳推理的 BrowseComp 是其表现最弱的基准测试:得分 63%,在 27 款产品中排名第 25,远落后于 Perplexity 各版本和 Octen(85% 至 87%)
➤ 搜索结果量大:每次搜索返回约 7k 个 token,接近榜单范围的上限。每条结果包含来自页面的约 1.8k 个字符的文本段落。这会推高模型成本:每项任务成本约为 0.023 美元,DeepSeek 的模型成本在榜单中排名第 2 高,仅低于 Linkup(flash, alpha)的 0.039 美元
➤ 查询长度限制为 128 个字符:DeepSeek 会拒绝超过 128 个字符的查询。智能体的搜索中有 6% 触及这一限制,而在这些搜索中,有 87% 通过模型首次缩短改写成功解决
关键细节:
➤ 设置:Stirrup 中使用 GPT-5.6 Luna(medium),DeepSeek Search API 设置为 need_content=false(仅返回页面文本段落,不返回完整页面内容),每次搜索返回 10 条结果
➤ 定价:每 1k 次成功搜索 0.75 美元。DeepSeek 不对空结果计费
➤ 速率限制:每个账户每秒 5 次搜索
来源:ArtificialAnlys · x.com