跳到正文

#评测/基准

今日 2 条
今天10月10日周六
10月9日周五
  1. ArtificialAnlys44

    Artificial Analysis Cyber Index Alliance 联合行业伙伴,为 AI 模型在企业网络防御任务上的表现设定新的评测标准。目前联盟成员包括 @CollinearAI、@IBM、@nvidia 和 @vercel。 合作伙伴为该指数的设计与实施提供专家意见,并可直接贡献数据集和外部研究。 有意加入 Cyber Index Alliance 的组织可通过 cyber@artificialanalysis.ai 联系我们。

  2. infwinston54

    Arena 宣布完成 $200M Series B 融资,估值 $3.1B,用于推进前沿智能的测量与提升使命。Arena 称其评测基于真实使用场景,将智能体置于实时工具使用环境中,用复杂长程任务挑战它们,并分析数百万真实用户-智能体交互信号。同日 Arena 还推出 Arena Alignment Index,把评测从能力扩展到衡量智能体在安全、可靠与忠实遵循人类意图方面的表现。

10月8日周四
10月7日周三
10月6日周二
10月3日周六
9月30日周三
9月25日周五
9月22日周二
8月27日周四
  1. Google DeepMind49

    Google DeepMind 首次试点双重盲测 AI 评估,用密码学环境防止基准污染

    Google DeepMind 推出全球首个针对专有前沿 AI 模型的双重盲测评估,将外部评测限制在密码学"黑箱"中,防止模型提前接触测试题造成基准污染。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境中用保密基准测试 Gemini Flash Lite 模型。

6月15日周一
2月26日周四