英伟达开源新模型，性能直逼 DeepSeek-R1

昨天，英伟达开源了一款名为 Llama-3.1-Nemotron-Ultra-253B-v1 的新模型。该模型基于 Meta 早期的 Llama-3.1-405B-Instruct 模型开发，拥有 2530 亿个参数，在多项第三方基准测试中表现出色：

   •   值得关注的是，英伟达新模型的性能逼近拥有 6710 亿参数的 DeepSeek R1，但只用了不到一半的参数量。
   •   测试结果显示，GPQA（76 vs. 71.5）、IFEval 指令遵循（89.5 vs. 88.8）和 LiveCodeBench 编码任务
      （66.3 vs. 65.9）。并且，Llama-3.1-Nemotron-Ultra-253B 推理吞吐量也比 DeepSeek R1 671B 高 4 倍。
   •   但在 MATH500 和 Arena Hard 基准测试中，DeepSeek R1 仍略占优势。

据悉，Llama-3.1-Nemotron-Ultra-253B 的设计目标是支持高级推理、指令遵循以及 AI 助手工作流程。技术特点如下：

   •   采用神经架构搜索(NAS)优化架构
   •   引入跳跃注意力层、融合前馈网络(FFN)和可变 FFN 压缩率
   •   降低内存占用和计算需求，保持输出质量
   •   可在单个 8x H100 GPU 节点高效部署
   •   部署支持 B100 和 Hopper 微架构硬件
   •   在 BF16 和 FP8 精度模式下均验证通过

目前，该模型的代码已在 Hugging Face 平台上公开，包含开放的权重和训练后数据。

官方介绍，Llama-3.1-Nemotron-Ultra-253B 可用于聊天机器人开发、AI Agent 工作流、检索增强生成（RAG）和代码生成等场景。根据英伟达开放模型许可证及 Llama 3.1 社区许可协议，该模型已获准用于商业用途。

附上体验地址：

https://build.nvidia.com/nvidia/ ... ncid=so-twit-273200

文章来源：爱范儿