核心事件：英伟达公布 Vera Rubin 生态系统五大技术进展
2024 年 8 月 24 日（当地时间），在 Hot Chips 大会期间，英伟达集中披露了以 Vera Rubin 为核心的 AI 工厂最新进展：
- NVIDIA Groq 3 LPX：已进入全面量产阶段，为低延迟推理加速器，专门提升 Token 生成速度
- Spectrum-X 多平面：支持不增加第三层网络前提下扩展至 51.2 万颗 GPU 的大规模集群
- Scale-In：基于 BlueField-4 和 DOCA 平台，接管安全、存储访问和运维任务
- NVLink Fusion：第六代 NVLink 支持第三方 XPU 和 CPU 接入英伟达机架体系
首批落地：Nebius 将成为 Groq 3 LPX 首家采用者，接入其生产级推理平台 Nebius Token Factory，开发者可保留原 API 无需迁移。
Groq 3 LPX：低延迟 Token 生成加速器
Groq 3 LPX 被英伟达明确定义为“交互式 AI 推理加速器”，其并非替代 Vera Rubin GPU，而是作为平台扩展，针对性解决 Token 生成阶段的延迟累积问题。
代码智能体等应用需经历数百至数千步执行流程，单次生成延迟会持续累积，直接影响端到端任务耗时。测试结果显示：
- 在 Artificial Analysis 使用 Gemma 4 31B 开放模型、10 万 Token 上下文条件下，输出速率达每秒 3400 个 Token，为该模型目前有记录的最快成绩
- 在智能体等延迟敏感型负载上，响应速度可达最接近替代平台的 4 倍
Groq 3 LPX 的部署路径已明确：AI 云服务商将优先采用。继 Nebius 之后，Groq 也将成为早期采用者。
Spectrum-X 多平面：不增加第三层网络的万卡扩展能力
传统两层以太网集群扩容至大规模后，通常需引入第三层网络，带来额外交换跳数、延迟、抖动及硬件成本上升。
Spectrum-X 多平面架构的反差在于：在八平面拓扑下，单个平面失效后仍可保留约 90% 总带宽，且基于硬件的恢复速度比软件方案快 11 倍，从而可使 AI 工厂产出提高 1.6 倍。
技术参数上：
- Spectrum-X SN6000 系列交换机采用 102.4Tb/s Spectrum-6 ASIC
- 配合 ConnectX-9 SuperNIC，为每颗 GPU 提供最高 1600Gb/s 带宽
- ConnectX SuperNIC 内置硬件引擎实现流量分配与故障迁移
- Spectrum-XGS 可连接多数据中心，多站点 NCCL 集合通信性能提升 1.9 倍
Scale-In 与 NVLink Fusion：安全、接入与开放生态
Scale-In 被英伟达称为 AI 网络体系的“第五大支柱”，由 BlueField-4 处理器和 DOCA 软件平台支持，通过 Spectrum-X 以太网连接。其核心功能是将多租户网络、存储访问、安全、资源配置和实时可观测性从主机侧分离，放入独立的硬件加速域，避免持续占用 CPU 和 GPU。
与之形成组合拳的是 NVLink Fusion。过去 NVLink 仅用于英伟达 GPU 间互连，现在通过第六代 NVLink、NVLink Switch 与 NVLink-C2C 技术，将能力延伸至第三方 XPU 和 CPU：
- 第六代 NVLink 可实现 72 个 XPU 互连域，XPU 到 XPU 传输端到端延迟降低至三分之一，数据包速率提高 10 倍
- NVLink-C2C 可将 XPU 连接到 NVIDIA Vera CPU 或其他生态系统 CPU，能效最高可达 PCIe 接口的 6 倍
此举允许云厂商在沿用 MGX 机架（供电、液冷、网络、管理软件、供应链）的前提下，将自研芯片与英伟达 GPU 部署于相似基础设施中，根据供应与负载动态调整芯片组合。
关键技术参数对比
| 技术组件 | 核心能力 | 关键参数 | 对比基准 | 性能提升 |
|---|---|---|---|---|
| Groq 3 LPX | Token 生成加速 | 3400 token/s (Gemma 4 31B) | 最接近替代平台 | 4 倍响应速度 |
| Spectrum-X 多平面 | 万卡集群扩展 | 51.2 万 GPU / 51.2 台机架 | 传统三层网络 | 恢复速度快 11 倍，产出提高 1.6 倍 |
| NVLink Fusion | XPU 接入互连 | 72 XPU 互连域 | 通用以太网方案 | 延迟降至 1/3，数据包速率提高 10 倍 |
| Scale-In | 基础设施服务卸载 | BlueField-4 + DOCA | 主机 CPU/GPU 处理 | 隔离安全、存储、运维任务 |
落地建议
适合立即尝试：已有大规模 GPU 集群、面临 Token 生成延迟或网络扩展瓶颈的云服务商或企业 AI 平台，可评估 Groq 3 LPX 与 Spectrum-X 多平面组合方案；已部署英伟达 MGX 机架并计划引入自研 XPU 的云厂商，NVLink Fusion 将降低集成门槛。
建议再等等：若当前工作负载主要为离线训练任务、对实时推理延迟不敏感，且无跨数据中心集合通信需求，现有 Vera Rubin GPU 集群仍具成本优势；Scale-In 需配套 BlueField-4 硬件，需评估现有主机平台兼容性。
写在最后
英伟达正将竞争边界从单一 GPU 扩展至整座 AI 工厂的完整架构设计。此次公布的五大技术并非彼此独立产品，而是围绕计算、网络、存储与运维的协同优化，标志着 AI 基础设施进入系统级竞争新阶段。