梦晨 发自 凹非寺 英伟达市值重回第一之际，黄仁勋再次担当采访。 除了谈本身和英伟达，还吹了一波马斯克，再再再次赞赏xAI只花19天建起10万卡H100超等集群。 听说英伟达正在思量投资xAI，大概此言不虚。
在这场访谈中他提出，没有任何物理定律可以制止AI数据中央扩展到一百万芯片。 这很难，但重新发明智能的回报太大，无法不去实验。 为此他还提出了超等摩尔定律，从每两年性能翻倍，酿成每年翻两到三倍。 并指路了详细实现途径，软硬件协同计划和数据中央级创新。 围观网友表现：很惊人，但更惊人的是我绝不猜疑他们真的能做到。
这是老黄第二次到场访谈节目No Priors，间隔前次时隔一年。 在这场36分钟的访谈中，老黄还透露了更多行业黑幕和对将来的假想：
以下是采访全文编译整理。 英伟达将来十年的赌注 主持人： 英伟达已经走过了30年，预测将来的十年，您以为另有哪些紧张的赌注必要下？接下来是否只需扩大规模？在从现有架构中压迫更多盘算和内存方面，昨们是否碰到了限定？您现在的关注意点是什么？ 黄仁勋： 假如退一步思索昨们所取得的成绩，昨们已经从编程走向了呆板学习，从编写软件工具到创建一个全新的生态体系。 全部这些最初都运行在为人类编程计划的CPU上，现在则运行在为AI编程计划的GPU上，重要是呆板学习。 天下已经改变，昨们举行盘算的方式、整个技能栈都发生了变革。 昨们可以或许办理的题目的规模也发生了巨大变革，假如你能在一块GPU上并行化你的软件，你就为在整个集群、乃至多个集群或数据中央上并行化奠基了底子。 我以为，昨们已经为将盘算扩展到无人想象过的程度做好了预备，并在这个程度上开辟软件。 接下来的十年里，昨们盼望每年在团体规模上（而非单个芯片上）将性能提拔两到三倍，从而使本钱和能耗每年低落两到三倍。 当你每年都翻倍或三倍增长，几年下来，这种复合增长会非常惊人。 昨们能逾越人们对摩尔定律的明白，即每两年性能翻倍，昨们将进入某种“超等摩尔定律”的曲线。 怎样逾越摩尔定律 主持人： 你以为是什么让这统统比摩尔定律发生得更快？我知道摩尔定律有点自我实现的性子，先提出了这个想法，然后人们积极去实现它。 黄仁勋： （摩尔定律）有两个根本的技能支柱。一个是Dennard Scaling，另一个是Carver Mead’s VLSI Scaling。 这些都是严酷的方法，但相干技能确实已经到了瓶颈。因此，昨们如今必要一种新的扩展方式。 起首，新的缩放方式显然涉及到（软硬件）协同计划。 除非你能修改或改变算法以反映体系的架构，大概改变体系以顺应新软件的架构，往返迭代，否则你毫无盼望。 但假如你能同时控制这两方面，你就可以做一些事变，好比从FP64到FP32，再到BFLOAT，再到FP8，乃至FP4，乃至更小的精度。 以是我以为，协同计划是此中非常紧张的一部门。 第二部门，昨们称之为全栈优化，是数据中央级别的创新。 昨们如今处置惩罚的大多数盘算挑衅，此中一个最令人高兴的固然是推理时间的扩展，根本上是以极低的耽误天生token，举行树搜刮，链式头脑，大概在脑海中举行一些模仿，反思本身的答案。 AI将自我提示，冷静地天生文本，并盼望在一秒钟内做出相应。唯一能做到这一点的方法是你的耽误极低。 与此同时，数据中央仍旧必要产生高吞吐量的token，由于你仍旧盼望低落本钱，保持高吞吐量，实现回报。 这两个根本要求——低耽误和高吞吐量——是相互抵牾的。 为了创造在两者上都非常精彩的东西，昨们必须去发明一些新东西，NVLink正是昨们实现这一目的的方式。” 练习和推理底子办法的相互转换 主持人： 您的大客户中，有多少人在思量底子办法在大规模练习和推理之间的相互转换？ 黄仁勋： 如今的底子办法是解耦的。 Sam（Altman）刚刚告诉我，他近来退役了Volta。他们有Pascal，有Ampere，各种差别设置的Blackwell即将到来。 有些是为风冷优化的，有些是为液冷优化的，你的服务必要使用全部这些。 英伟达的上风在于，本日为练习构建的底子办法，来日诰日将非常适适用于推理。我信赖，大部门的ChatGPT服务都是在近来用于练习的同范例体系上举行推理的。 假如你能在上面练习，你就能在上面推理。 你完全有信心这些投资会得到回报，然后投入新的底子办法来扩大规模。 而且英伟达和整个生态体系将致力于改进算法，使你的底子办法在短短一年内性能进步五倍，这种希望永久不会改变。 因此，人们将如许对待他们的底子办法： 是的，只管本日为练习而构建它，同时会知道它将在推理方面也会非常精彩。 而推理将是多标准的。 起首，为了蒸馏出更小的模子，拥有一个更大的模子作为源头是很好的。因此，你仍旧会创造这些令人难以置信的前沿模子，它们将用于开创性的工作，用来天生合成数据，用大模子来传授小模子，蒸馏出更小的模子。 但终极，你会有从巨型到小型的各种模子。小型模子将在特定使命上非常有用，固然泛化本领不如大模子，但在谁人使命上体现非常精彩。昨们将在一个小小的范畴中看到逾越人类的使命，由一个小小的模子完成。大概这不是一个小语言模子，而是一个微型语言模子，Tiny Language Model，大概其他什么。 以是我以为昨们会看到各种巨细的模子，昨们的盼望是，就像本日的软件一样。 构建和交付完备的数据中央 主持人： 英伟达为客户提供的支持正在像更大的规模发展，从单个芯片到服务器，再到机架，再到NV72，您怎样对待这一历程？接下来会是什么？英伟达是否应该做整个数据中央？ 黄仁勋： 究竟上，昨们确实构建了完备的数据中央。 昨们的办事方式是，假如你要开辟软件，你必要完备情势的盘算机。昨们不会只做幻灯片演示然后交付芯片，昨们构建整个数据中央。 在完成整个数据中央之前，你怎么知道软件是否正常工作？在整个数据中央建成之前，你怎么知道你的网络是否正常工作，以及你盼望的服从是否到达了？ 这就是为什么通常看到某些产物的现实性能远低于他们在幻灯片上展示的峰值性能的缘故原由。 盘算已经不像已往那样。我常说，新的盘算单元是数据中央。 对于昨们来说，这就是你必须交付的东西，这就是昨们如今构建的东西，昨们构建整个体系，而且以完备的情势构建它。 然后以各种组合举行测试，风冷的x86，液冷的Grace，以太网，Infiniband，加上NVLink，不加NVLink，等等。 昨们构建每一种设置，昨们公司如今有五台超等盘算机，来岁昨们很轻易再建五台。 假如你对软件很认真，你就会构建本身的盘算机，而且昨们以“数据中央即产物”的方式构建它们。 只管昨们不直接贩卖数据中央作为产物，但昨们必须像对待产物一样对待它。 关于它的规划、创建、优化、调解、保持运行的统统，目的是让它像打开你的极新iPhone一样，统统都能正常工作。 固然，这背后有技能的古迹，但昨们如今有本领做到这一点。 因此，假如你对数据中央感爱好，只必要给我一个空间，一些电力和冷却体系，昨们将在30天内资助你创建起来。这黑白常了不得的。 xAI的超等集群 主持人： 近来有一个令人印象深刻的案例，就是你们为xAI敏捷创建了一个集群。假如你乐意，请谈谈这个案例，由于无论是规模照旧速率都令人震动。 黄仁勋： 许多功劳要归功于马斯克。 起首，决定去做这件事，选择园地，引入冷却和电力，然后决定创建一个拥有10万个GPU的超等集群，这是有史以来最大的规模。 然后倒推日程，昨们一起规划他要启动体系的日期，这个日期是在几个月前确定的。 全部的组件、OEM、体系、昨们与他们团队的软件集成、全部的网络模仿，昨们都预先以数字孪生的方式模仿了他的网络设置。昨们预先预备了他的供应链，预先安排了全部的网络布线。昨们乃至创建了一个小规模的版本作为参考，以便在全部装备到达之前举行测试。 到全部装备到达的时间，统统都已经预备停当，全部的训练都完成了，全部的模仿都完成了，然后是大规模的集成，巨大的团队在一起昼夜不绝地工作，几周内集群就启动了。 这真的是他（马斯克）的意志力和他可以或许思索机器、电气题目并降服巨大停滞的证实。 主持人： 假如你预测将来，到达20万、50万、100万的超等集群，您以为最大的停滞是什么？资源、能源、供应？ 黄仁勋： 你刚才提到的这些因素，没有一件是轻松的。 是否值得寻求如许的规模扩展？毋庸置疑是值得的。 要到达昨们想象中的那种盘算机，可以或许轻松地完成昨们要求它做的事变，具有某种通用智能。乃至昨们可以争论它是否真的具有通用智能，但纵然靠近它也是一个古迹。 我以为有五到六个团队在积极实验实现这一目的，有OpenAI、Anthropic、xAI，固然另有谷歌、Meta、微软等公司。 这个前沿范畴，在攀缘这座山峰的过程中，接下来的几步是至关紧张的。谁不想成为登上这座山峰的第一人？ 我以为，重新发明智能的夸奖太过紧张，无法不去实验。 我以为，没有物理定律的限定，但统统都会很难。 AI芯片计划和英伟达的运作方式 主持人： 一年前，当昨们一起攀谈时，昨们问过您，英伟达在人工智能和其他范畴中，您对哪些应用步伐最感爱好，接下来将为客户提供哪些服务，您谈到了您最极度客户的一些科学应用。 在已往的一年中，这已经成为更主流的观点。人工智能在科学中的应用是否依然最令您高兴？ 黄仁勋： 我很高兴在英伟达有AI“芯片计划师”，有AI“软件工程师”。 它们非常高效，假如没有它们，昨们无法构建Hopper。 它们与人类相比可以探索更大的空间，由于它们有无穷的时间，它们在超等盘算机上运行。昨们的人类工程师时间有限，无法探索尽大概多的空间，也无法组合地探索空间。 我无法在本身探索的同时，涵盖你的探索和其他人的探索。 昨们的芯片云云之大，它们并不是作为一个芯片计划的，而是像一千个芯片那样计划的。昨们必须分别优化每一个。 你真的想要优化更多的模块，跨模块协同计划，优化更大的空间。 没有人工智能，昨们的工程师无法做到，昨们没有充足的时间。 主持人： 自从昨们前次攀谈以来，另有一件事发生了变革。我查了一下，其时英伟达的市值约为5000亿美元，现在已凌驾3万亿美元。在已往的18个月里增长了2.5万亿美元的市值，相称于每月增长了1000多亿美元。 本日早些时间我来到英伟达公司，感受到了公司的活力，就像15年前我在谷歌时一样，能感受到公司的能量和高兴。 在这段时间里，有什么变革吗？大概说，有什么差别之处，无论是英伟达的运作方式，照旧您对天下的见解，大概您可以接纳的赌注的规模？ 黄仁勋： 公司无法像股价那样快速变革，以是在许多方面，昨们并没有太大改变。 我以为，昨们必要退一步，问问本身，昨们在做什么？ 从行业角度来看，昨们重新发明白盘算。它已经60年没有被重新发明过了，这是一件多么紧张的事变。 在已往的10年里，昨们将盘算的边际本钱低落了约莫一百万倍，以至于昨们可以说，让盘算机去穷举地编写软件吧。 某种水平上，昨们可以说，昨们也在芯片计划中说了同样的话。昨们盼望盘算机去发现一些昨们本身无法做到的关于芯片的东西，探索昨们的芯片，并以昨们无法做到的方式优化它。 因此，人们开始意识到，昨们重新发明白盘算。 但这毕竟意味着什么？忽然之间，昨们创造了一个称为“智能”的东西，那么盘算发生了什么变革呢？ 昨们从数据中央开始。 数据中央是存储文件的多租户场合。而昨们正在创建的新型数据中央并不是传统的数据中央。它们不是多租户的，每每是单租户的。它们不存储任何文件，只是在天生一些东西——它们在天生tokens。 这些tokens被重新组合成看似智能的东西，而这种智能有各种差别的情势，大概是呆板人的动作表达，大概是氨基酸的序列，大概是化学链，大概各种风趣的东西。 那么，昨们毕竟在做什么？昨们创造了一种新工具，一种新的呆板，在许多方面，它是“天生式人工智能”这个形容词的名词情势。 与其说是天生式人工智能，不如说是一个人工智能工厂。它是一个天生人工智能的工厂，而且昨们正在以极大的规模来实现这一点。 人们开始意识到，这大概是一个新行业。它天生tokens，天生数字，但这些数字以相称有代价的方式构成。那么，哪些行业会从中受益？ 然后，你再退一步，问本身英伟达在做什么。 一方面，昨们重新发明白昨们所知道的盘算，因此有代价数万亿美元的底子办法必要当代化，这是此中一层。 更大的层面是，昨们正在构建的这个工具不但仅是为了昨们正在当代化的数据中央，而是用于生产一些新的商品。这个新商操行业能有多大？很难说，但大概代价数万亿美元。 以是，假如你退一步看，昨们不再制造盘算机了，昨们在制造工厂。 每个地方都必要它，每个公司都必要它。你能举出一个公司或行业说“你知道吗，昨们不必要生产智能，昨们已经拥有充足多了”吗？ 以是，我以为这是一个庞大理念，这是一种抽象的财产视角。 有一天，人们会心识到，在许多方面，半导体行业并不是关于制造芯片，而是关于为社会构建底子布局。然后，忽然之间，各人都会说：“啊，我明确了，这是件大事。” 具身智能 主持人： 您如今怎样对待“具身化”？ 黄仁勋： 我非常高兴的一点是，在许多方面，昨们靠近于人工通用智能，但昨们也靠近于人工通用呆板人。token就是token，题目是你可否将其token化。 固然，正如你们所知，token化并不轻易。但假如你可以或许将事物token化，与大型语言模子和其他模态对齐，如果可以天生一个视频，内容是我伸手去拿咖啡杯，为什么我不能提示呆板人天生可以或许拿起咖啡杯的token呢？ 直觉上，你会以为对于盘算机来说，题目报告是相称相似的。以是，我以为昨们非常靠近了，这令人难以置信的高兴。 如今，有两个“棕地”（Brownfield）呆板人体系——“棕地”意味着你不必要改变情况——即主动驾驶汽车和具身呆板人。 通过汽车和人形呆板人，昨们现实上可以在不改变天下的环境下将呆板人带到天下上，由于昨们已经为这两样东西构建了天下。 大概马斯克专注于这两种情势的呆板人并非偶合，由于它们大概具有巨大的潜伏规模。 以是，我以为这是令人高兴的，但其数字版本同样令人高兴。 昨们正在评论的是数字员工或AI员工。毫无疑问，昨们将拥有各种各样的AI员工。将来将拥有生物智能和人工智能，昨们以雷同的方式去提示（Prompt）它们。 我大多数时间都是提示我的员工，向他们提供配景，要求他们实行使命，他们会去招募其他团队成员，然后返来，昨们往返沟通。这与各种AI员工有何差别呢？ 以是，昨们将拥有人工智能营销职员、人工智能芯片计划师、人工智能供应链职员等等。 我盼望有一天，英伟达在生物智能层面上变得更大，但在人工智能层面上变得大得多。这是昨们将来的公司。 主持人： 假如昨们一年后再来和您攀谈，您以为公司哪个部门最具人工智能化？ 黄仁勋： 我盼望是芯片计划，这是最紧张的部门。由于它对昨们的影响最大，也是昨们可以产生最大影响力的地方，这是一个极其困难的题目。 昨们与Synopsys和Cadence互助。我完全可以想象他们拥有AI芯片计划师给我租用，他们对特定的模块有所相识，纯熟利用特定的工具，昨们将根据必要雇佣一大批他们的人工智能计划师，在芯片计划的对应阶段资助昨们。 大概我会租用一百万个Synopsys的工程师来资助我，然后再租用一百万个Cadence的工程师来资助我。对他们来说，这是一个多么令人高兴的将来，他们拥有全部这些智能体，在他们的工具平台之上并与其他平台协作。 你也会在SAP和ServiceNow那边如许做。人们说这些SaaS平台将被颠覆，我现实上以为相反，他们正坐在金矿上，如Salesforce、SAP等将因专业智能体繁荣发展。 Salesforce有Lightning，SAP有ABAP，每个人都有本身的语言，对吗？昨们有CUDA，另有用于Omniverse的OpenUSD。 谁会创建一个在OpenUSD上非常精彩AI智能体？昨们会，由于没有人比昨们更关心它。 因此，我以为在许多方面，这些平台将涌现出大量的智能体，昨们将把它们相互引介，它们将协同互助，办理题目。 AI for Science 主持人： 您看到有很多人在人工智能的各个范畴工作，您以为有哪些被低估的范畴，大概您盼望更多的企业家、工程师或贸易人士到场哪些方面的工作？ 黄仁勋： 起首，我以为被误解和低估的是在水面之下的运动，即在人工智能和呆板学习影响下的突破性科学、盘算机科学和工程学。 我以为，你无法走进任何一个科学系、理论数学系，而不看到人工智能和呆板学习，以及昨们本日所评论的这些工作将如安在来日诰日带来厘革。 假如你把天下上的全部工程师、全部科学家聚在一起，而且你以为他们本日的工作方式是将来的早期迹象，那么你将在短时间内看到人工智能的海啸，呆板学习的海啸，改变昨们所做的统统。 请记着，我看到了盘算机视觉的早期迹象，看到Alex、Ilya和Hinton的工作（AlexNet），看到Yann LeCun，固然另有斯坦福的吴恩达。 昨们很荣幸地从猫的视觉推断出了盘算机科学和盘算的深刻厘革，如许的推断对昨们来说是荣幸的。 如今昨们被它所鼓励，以至于改变了昨们全部的办事方式。 但这花了多长时间？从观察到谁人玩具般的AlexNet，按本日的尺度它被以为是一个玩具，到在物体辨认方面到达逾越人类的本领，只用了几年时间。 如今正在发生的是全部科学范畴厘革的海潮，没有一个科学范畴被落下。 我想非常明白地说，从量子盘算到量子化学，全部科学范畴都到场了昨们正在讨论的（AI协作）方法。 假如昨们再给本身两三年时间，天下将会改变，将不会有一篇论文、一项科学或工程突破，其底子不是天生式人工智能。我如今非常确定这一点。 对于许多关于这是否是昙花一现的题目，你只必要回到第一原理，观察现实发生的事变。 盘算堆栈，也就是昨们举行盘算的方式，已经改变。编写软件的方式已经改变，这黑白常焦点的东西。 软件是人类编码知识的方式，这是昨们编码算法的方式。昨们如今以非常差别的方式编码它，这将影响统统，其他任何东西都将差别于以往。 以是，我以为，我是在和已司理解这一点的人攀谈，昨们都看到了同样的事变。 你们所互助的全部初创公司，我所互助的科学家和工程师，没有人会被落下。 昨们将带着全部人一起进步。 黄仁勋天天都在用AI 黄仁勋： 我本身天天都在利用AI，我不知道你们怎么样，但AI如今是我的导师。 我学习任何东西都会先去找AI。 为什么要用困难的方式去学习呢？直接去找AI，直接去找ChatGPT，大概偶然我会用Perplexity，这取决于我题目的表述方式，我就从那边开始学习。然后，假如你乐意，你可以深入研究。 但天哪，这真是太棒了。险些全部我知道的东西，我都会再三确认。纵然对于一个究竟，我以为的根本真理，而且我是专家，我仍旧会去找AI，查抄、再查抄。 这太棒了，如今我做险些全部的事变都涉及到AI。 One More Thing 最新爆料，根据近来即将出书的张忠谋传记，2013年左右台积电曾扣问黄仁勋是否有爱好接任CEO，但老黄拒绝了。 10多年前，英伟达还不是像本日如许的庞然大物。但刚刚推出Kepler架构GPU系列，新的Tegra系列移动芯片，以及Shield游戏机，并继承进军数据中央。 其时黄仁勋对英伟达将来布满信心，公布在公司现有总部以西制作一个更大的总部。 台积电不得不选择Plan B，从内部提升两名工程师高管并造就成贩子，创建双向导制，分别担当董事长和CEO。作为对比，黄仁勋不停在英伟达同时担当董事长兼CEO。 如今，黄仁勋对数据中央和人工智能的战略愿景资助英伟告竣为环球市值最高的公司。 |
