跳到正文
原文
ArtificialAnlys· @ArtificialAnlys · X·· 5 天前AI 评分60

Artificial Analysis 评测 DeepSeek Search API:Search Index 得分 69

AI 导读

Artificial Analysis 评测 DeepSeek Search API,其 Artificial Analysis Search Index 得分为 69,在 27 款搜索产品中排名第 17。

正文 · AI 翻译

DeepSeek Search 在 Artificial Analysis Search Index 上首次亮相,得分 69,在 27 款搜索产品中排名第 17;其价格是榜单上所有付费搜索 API 中最低的

@deepseek_ai 于 10 月 17 日推出了 Search API。我们在 Stirrup 智能体测试框架中对其进行了基准测试,其中 GPT-5.6 Luna(medium)将 DeepSeek Search 作为 web_search 工具调用,以完成来自 BrowseComp、DeepSearchQA 和 AA-Omniscience 的一系列任务。

DeepSeek Search 的价格为每 1k 次搜索 0.75 美元,单次搜索成本低于我们进行基准测试的其他所有付费搜索 API,也低于 Octen、Parallel(turbo)和 Parallel(fast)的 1 美元。其每项任务成本约为 0.032 美元,在 27 款产品中排名第 5 低,比其他 25 款搜索 API 中的 20 款更便宜(中位数为 0.066 美元),与 Nimble(lite)持平。TinyFish、Octen、Parallel(turbo)和 Parallel(fast)的成本更低。

DeepSeek Search 的主要基准测试结果:

➤ Artificial Analysis Search Index:DeepSeek Search 得分 69,比同一模型不使用搜索时(33 分)提升了 36 分。其得分介于 TinyFish 的 71 分和 Linkup(standard)的 68 分之间

➤ AA-Omniscience 是 DeepSeek Search 表现最强的基准测试:在我们的专有事实性答案基准测试中,准确率达到 70%。这使其在 27 款产品中排名第 10,落后并列领先的 Exa(auto, dynamic highlights)和 Firecrawl(73%)3 分。需要跨多次搜索进行多跳推理的 BrowseComp 是其表现最弱的基准测试:得分 63%,在 27 款产品中排名第 25,远落后于 Perplexity 各版本和 Octen(85% 至 87%)

➤ 搜索结果量大:每次搜索返回约 7k 个 token,接近榜单范围的上限。每条结果包含来自页面的约 1.8k 个字符的文本段落。这会推高模型成本:每项任务成本约为 0.023 美元,DeepSeek 的模型成本在榜单中排名第 2 高,仅低于 Linkup(flash, alpha)的 0.039 美元

➤ 查询长度限制为 128 个字符:DeepSeek 会拒绝超过 128 个字符的查询。智能体的搜索中有 6% 触及这一限制,而在这些搜索中,有 87% 通过模型首次缩短改写成功解决

关键细节:

➤ 设置:Stirrup 中使用 GPT-5.6 Luna(medium),DeepSeek Search API 设置为 need_content=false(仅返回页面文本段落,不返回完整页面内容),每次搜索返回 10 条结果

➤ 定价:每 1k 次成功搜索 0.75 美元。DeepSeek 不对空结果计费

➤ 速率限制:每个账户每秒 5 次搜索

来源:ArtificialAnlys · x.com