黄仁勋展望未来十年 英伟达押注AI
美国总统大选结束,美股科技股集体看涨。
截至11月10日,英伟达总市值达36213.64亿美元。
这家曾被高盛成为“地球最重要股票”的AI芯片霸主英伟达,终于超越苹果、微软,成为史上首家市值超过36000亿美元的公司。
长达三十几分钟的对话,黄仁勋透露了行业最新发展动态,同时还聊到了前沿模型、数据中心规模计算以及英伟达未来十年的押注。
在外人看了,英伟达的“封神之路”像极了爽文男主,在谈及股价和身价飙升,老黄则表示“无感”。
“对我来说没什么影响。我还是在同一时间醒来,像往常一样工作、吃饭,喜欢的事情、爱的人都没有改变,我面前还有一堆工作要做......”
以下是本次专访精编:
英伟达的十年目标
主持人:英伟达已经走过了三十年,展望未来的十年,您认为还有哪些重要的赌注需要下?您目前的关注重点是什么?
黄仁勋:退一步讲,我们已经从编程走向了机器学习,从编写软件工具到创建一个全新的生态系统。所有这些最初都运行在为人类编程设计的CPU上,如今则运行在为AI编程设计的GPU上,主要是机器学习。
世界已经改变,我们进行计算的方式、整个技术栈都发生了变化。我们能够解决的问题的规模也发生了巨大变化。
接下来的十年里,我们希望每年在整体规模上将性能提升两到三倍,从而使成本和能耗每年降低两到三倍。这将导致一种“超摩尔定律”的增长曲线。 实现这一目标的关键在于软硬件协同设计和数据中心级创新。
协同设计+全栈优化
主持人:你认为是什么让这一切比摩尔定律发生得更快?
黄仁勋:摩尔定律有两个基本的技术支柱。一个是Dennard Scaling,另一个是Carver Mead’s VLSI Scaling。这些都是严格的方法,但相关技术确实已经到了瓶颈。因此,我们现在需要一种新的扩展方式。
首先,新的缩放方式显然涉及到(软硬件)协同设计。
除非你能修改或改变算法以反映系统的架构,或者改变系统以适应新软件的架构,来回迭代,否则你毫无希望。
但如果你能同时控制这两方面,你就可以做一些事情,比如从FP64到FP32,再到BFLOAT,再到FP8,甚至FP4,甚至更小的精度。所以我认为,协同设计是其中非常重要的一部分。
第二部分,我们称之为全栈优化,是数据中心级别的创新。
我们现在处理的大多数计算挑战,其中一个最令人兴奋的当然是推理时间的扩展,基本上是以极低的延迟生成token,进行树搜索,链式思维,可能在脑海中进行一些模拟,反思自己的答案。
像交付iPhone一样 交付整个数据中心
主持人:从单个芯片到服务器,再到机架,再到NV72,您如何看待这一进程?接下来英伟达是否应该做整个数据中心?
黄仁勋:事实上,我们确实构建了完整的数据中心。
我们不会只做幻灯片演示然后交付芯片,我们构建整个数据中心。
在完成整个数据中心之前,你怎么知道软件是否正常工作?在整个数据中心建成之前,你怎么知道你的网络是否正常工作,以及你期望的效率是否达到了?
这就是为什么通常看到某些产品的实际性能远低于他们在幻灯片上展示的峰值性能的原因。
计算已经不像过去那样,新的计算单位是数据中心。
对于我们来说,这就是你必须交付的东西,这就是我们现在构建的东西,我们构建整个系统,并且以完整的形式构建它。
尽管我们不直接销售数据中心作为产品,但我们必须像对待产品一样对待它。关于它的规划、建立、优化、调整、保持运行的一切,目标是让它像打开你的崭新iPhone一样,一切都能正常工作。
xAI超级集群和马斯克
主持人:
最近有一个令人印象深刻的案例,就是你们为xAI迅速建立了一个集群。如果你愿意,请谈谈这个案例,因为无论是规模还是速度都令人震惊。
黄仁勋:
很多功劳要归功于马斯克。
首先,决定去做这件事,选择场地,引入冷却和电力,然后决定建立一个拥有10万个GPU的超级集群,这是有史以来最大的规模。
然后倒推日程,我们一起规划他要启动系统的日期,这个日期是在几个月前确定的。
所有的组件、OEM、系统、我们与他们团队的软件集成、所有的网络模拟,我们都预先以数字孪生的方式模拟了他的网络配置。我们预先准备了他的供应链,预先安排了所有的网络布线。我们甚至建立了一个小规模的版本作为参考,以便在所有设备到达之前进行测试。
到所有设备到达的时候,一切都已经准备就绪,所有的练习都完成了,所有的模拟都完成了,然后是大规模的集成,庞大的团队在一起昼夜不停地工作,几周内集群就启动了。
这真的是马斯克的意志力和他能够思考机械、电气问题并克服巨大障碍的证明。
主持人:
展望未来,达到20万、50万、100万的超级集群,您认为最大的阻碍是什么?资本、能源、供应?
黄仁勋:
任何一切。你说的这些,没一个是简单的。
但毋庸置疑都值得去做。要达到我们想象中的那种计算机,能够轻松地完成我们要求它做的事情,具有某种通用智能。甚至我们可以争论它是否真的具有通用智能,但即使接近它也是一个奇迹。
一些团队在努力尝试,当然这里有OpenAI、Anthropic、xAI,还有谷歌、Meta、微软。
在登山过程中,接下来的几步是至关重要的。谁不想成为第一人?
我认为,重新发明智能的奖赏太过重要,无法不去尝试。没有任何物理定律可以阻止这一切发生,即便很难。
具身智能
主持人:
您如何看待“具身化”?
黄仁勋:
我非常兴奋的是,在很多方面,我们接近于人工通用智能,但我们也接近于人工通用机器人。token就是token,问题是你能否将其token化。
当然,正如你们所知,token化并不容易。但如果你能够将事物token化,与大型语言模型和其他模态对齐,假如可以生成一个视频,内容是我伸手去拿咖啡杯,为什么我不能提示机器人生成能够拿起咖啡杯的token呢?
直觉上,你会认为对于计算机来说,问题陈述是相当相似的。所以,我认为我们非常接近了,这令人难以置信的兴奋。
通过汽车和人形机器人,我们实际上可以在不改变世界的情况下将机器人带到世界上,因为我们已经为这两样东西构建了世界。
我们正在谈论的是数字员工或AI员工。
毫无疑问,我们将拥有各种各样的AI员工。未来将拥有生物智能和人工智能,我们以相同的方式去提示它们。
我大多数时候都是提示我的员工,向他们提供背景,要求他们执行任务,他们会去招募其他团队成员,然后回来,我们来回沟通。这与各种AI员工有何不同呢?
所以,我们将拥有人工智能营销人员、人工智能芯片设计师、人工智能供应链人员等等。
我希望有一天,英伟达在生物智能层面上变得更大,但在人工智能层面上变得大得多。这是我们未来的公司。
主持人:
如果一年后再来采访您,您认为英伟达哪个部分最具人工智能化?
黄仁勋:
我希望是芯片设计,因为它对我们的影响最大。
我们与Synopsys和Cadence合作。我完全可以想象他们拥有AI芯片设计师给我租用,他们对特定的模块有所了解,熟练使用特定的工具,我们将根据需要雇佣一大批他们的人工智能设计师,在芯片设计的对应阶段帮助我们。
也许我会租用一百万个Synopsys的工程师来帮助我,然后再租用一百万个Cadence的工程师来帮助我。对他们来说,这是一个多么令人兴奋的未来,他们拥有所有这些智能体,在他们的工具平台之上并与其他平台协作。
人们说这些SaaS平台将被颠覆,我实际上认为相反,他们正坐在金矿上,如Salesforce、SAP等将因专业智能体繁荣发展。
谁会创建一个在OpenUSD上非常出色AI智能体?
我们会,因为没有人比我们更关心它。因此,我认为在很多方面,这些平台将涌现出大量的智能体,我们将把它们彼此引介,它们将协同合作,解决问题。