Google DeepMind 高级产品经理：AI 公司都应该自建基准测试

Google AI Studio 产品负责人、谷歌 DeepMind 高级产品经理 Logan Kilpatrick 昨日在 X 上发文称，每家基于 AI 构建产品的公司都应该建立自己的基准测试（benchmark，即用来衡量 AI 模型表现的标准化测试集）。

他认为，这是让模型进步「不成比例地惠及你的公司」的关键路径，并直接建议创始人和企业主「今天就开始行动」。

目前，多数公司在选择 AI 模型时依赖公开排行榜，但这些排行榜衡量的是通用能力，往往与具体业务场景存在明显脱节。Kilpatrick 指出，自建基准的价值体现在两个层面：

• 其一，每次模型迭代时，企业可用自身业务任务进行评估，选出在特定场景下实际表现最优的模型，而非仅凭公开排名决策；
• 其二，将这些测试集反馈给模型提供商，可推动对方在企业关注的方向上持续优化。
  

Kilpatrick 还在评论区补充称，Zapier、Sierra 等公司已在践行这一策略，「这里有大量可以创造的 alpha（超额收益）」。他同时表示，目前许多公司内部已有评估体系（evals），但公开发布自建基准的仍属少数。

文章来源：爱范儿