新智元报道 编辑：乔杨 【新智元导读】前段时间去职后留下公开辞职博客的OpenAI六年元老Miles Brundage近来再发一文，讨论了一个相称热门但棘手的题目：当今的AI发展速率，应该加快、减速照旧维持近况？ 10月末，OpenAI在政策研究范畴方面的6年元老Miles Brundage去职，
10天后，好像是以为这篇文章意犹未尽，Brundage再次发文，题为「AI发展是应该加快、放缓，照旧保持稳定？」
固然标题是问句，导读的一句话也布满了不可知论色彩，但文章的结论非常明白——审慎起见，昨们应该为全社会的AI发展安装一个「刹车」。 负责托管维基百科的Chris Albon转发了这篇博客并鼎力大举赞赏，将Miles Brundage的内容产出与致力于教诲范畴创业的Andrej Karpathy相提并论。
如今再加上刚去职的Lilian Weng，不得不说，OpenAI的「去职潮」大大丰富了高质量AI博客的创作和产出。
Miles Brundage本科结业于乔治华盛顿大学，本科期间担当过美国能源部的特殊助理，之后前去亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担当AI政策研究员。 2018年，Miles Brundage参加了刚刚建立3年的OpenAI担当政策方面的研究科学家，之后又在2021年升任研究主管，现在是AGI预备工作的高级顾问。 当今的AI发展 人工智能应该更快、更慢照旧保持稳定？在答复这个题目之前，昨们先扼要回首一下现在的人工智能进步有多快。 2021年出书的一本书——《人工智能简史》（A Brief History of Artificial Intelligence），此中的观点在短短3年后的本日就已经过期了。 好比书中提到，「明白一个故事并答复有关题目」以及「表明照片中发生的事变」，这些使命并没有完全被AI办理；但从GPT、Claude、o1等模子中可以看到，这些方面已经有了很大的进步，乃至很大概凌驾了人类体现。 举出这些例子并不是为了特意挑刺或抬杠，而是昨们要明确一点——严厉的专家常常在人工智能范畴犯下严峻错误。 固然某些环境下，人们确实对人工智能的希望过于乐观，但总体而言，近十年来，对峙唱深度学习的反调确实不是一个乐成的计谋。
盘算机已办理和待办理的题目总览，按使命难度排序 别的另有下面这张闻名的图表，告诉昨们AI的发展怎样让各种评估基准越来越快地饱和。
在物理、化学和编码等范畴的测试题目上，AI开始逾越专家体现，比方根本全新的GPQA问答基准（Google-Proof Question Answering），客岁11月刚刚发布，如今却正在被碾压。 在办理谷歌搜刮都无法完成的，孤立的、研究生级别的使命上，AI可以比大多数专家做得更好，纵然专家有半个小时的时间来办理题目。
在有挑衅性的推理基准上，o1大大凌驾GPT-4o 这种最新的希望的驱动力是AI体系向新范式的过渡，即所谓的「头脑链」（chain of thought，CoT），在给出答案之前先思索题目。 GPQA基准仅仅是一个孤立的短期使命，AI体系在必要耗费数小时/数天/数周/数年的「恒久」使命上还无法逾越专家，但科技公司正在积极推动这一点，并极有大概在10年内实现。 这些进步开始与呆板人技能相联合，真正智能的AI体系无疑将大大加快呆板人技能的发展。 棘手的题目——AI发展的抱负配速 只管在我看来，对AI进步速率的争议会随着时间的推移而淘汰，但这个题目现在仍旧非常含糊，由于能在差别的规模和层面上控制它，好比单个公司、一个国家或一组国家，或环球范围，也区分差别范例。
比方客岁发表的一篇文章中，就做出了如下区分： 人工智能的快速发展可区分为横轴和纵轴：纵轴指的是开辟更大更强的模子，这陪同着很多未知因素和潜伏的人类生存风险；相比之下，横轴夸大将当前模子融入经济的各个角落，而且风险相对较低，回报较高。 本文下面的内容重要关注环球范围内AI在纵轴上的扩展/进步，也就是大多数人所明白的AI进步的意思；而且终极昨们关心的是环球结果，因此无论人工智能发生在那里，都应该思量它的希望。 有些人大概以为这是一个棘手的题目，缘故原由之一是他们以为这是对技能见解的「试金石」，而技能自己就已经是一个很大的争议了。 但究竟并非云云。现实上，有许多人总体上支持技能发展，但对人工智能感到担心。 好比，在这份旨在器重AI风险的倡议书上，不乏各种鼎力大举推动技能发展的大佬，好比比尔·盖茨、前OpenAI首席科学家Ilya Sutskever、DeepMind联创兼CEO Demis Hassabis、Anthropic联创兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。
原文链接：https://www.safe.ai/work/statement-on-ai-risk 在本文作者Miles Brundage看来，AI发展的配速之以是成为一个困难，其真正缘故原由在于，纵然各人的出发点是一个共同的公道道德条件，比方「不要杀死全部人」和「更多的人 vs. 更少的人应该从技能中受益」，一系列相干的履历题目仍旧很难办理。 AI总体发展的抱负配速大概取决于以下题目的答案，而每个题目现实上都可以成为一个单独的范畴：
雷同的题目另有许多。这些题目自己就很难答复，而要将它们整合到一个团体框架中，以得出关于AI抱负希望速率的有效结论就更加困难。 昨们是否必要刹车 必要澄清的是，本文所指的「刹车」并非用「一刀切」的方式完全制止AI技能的发展。而是基于究竟和对上述题目的答复，通过具体界说、分析的技能和政策选项来减缓人工智能的进步。 在Brundage看来，昨们应当安装（颠末计划和辩说的）「刹车」，由于当前AI的进步显着快于社会可以或许有用明白和塑造的速率，而且这种环境大概不会很快改变——乃至，二者之间差距大概渐渐扩大。 抱负环境下，政策订定者可以或许掌控统统，但昨们不知道最坏的环境是否会发生，以是要为各种环境做好预备。 值得一提的是，客岁Brundage曾写过一篇文章，具体分析了他所见的AI进步和社会预备度之间的差距。
原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai 现在来看，上述界说的「刹车」仍不存在，一部门证据是，昨们看到了「科技公司片面停息AI开辟」这种不切现实的发起。 这类政策不会发生也不会起作用，至少在将来很长一段时间内是如许，由于负责任的AI开辟是一个团体举措题目。Brundage仍在OpenAI任职时，他和团队在2019年发表的论文就具体表明了这一点。
原文链接：https://arxiv.org/pdf/1907.04534 大部门人都会担心AI的发展。人们看到题目的存在，之后就会到处探求答案，并提出一些非常简朴的办理方案，但政策订定是困难的，必要远见、辩说和认真的研究。 OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构在本年2月团结发表了一篇论文，讨论安装「刹车」的一种大概性——「算力储备」（compute reserve）。
原文链接：https://arxiv.org/pdf/2402.08797 这雷同于设置一个有黄金储备的中心银行，对市场经济的发展举行宏观调控；「算力储备」也是云云，调治AI发展的步调节奏。 只管已经有了一篇104页的论文打底，但「算力储备」的方案仍存在许多题目和含糊之处。这不肯定是精确的办理方案，但昨们确实应该对此和相干想法举行更多讨论，另有人工智能税等等更多场景。 假如必要计划一个刹车的话，昨们要不要同步配套一个「油门」？ Brundage以为，这也是须要的，但现在昨们看到的是，已经有各种小型的「油门踏板」被踩得很紧。 比方，CHIPS法案将更多资金投入美国半导体制造；初创公司、风投和大型科技公司不停实验在横轴和纵轴上扩大AI规模；教诲机构不停造就研究职员和工程师；消耗者们「用钱包投票」，通过为科技公司提供收入来间接支持AI更快地进步。 思量到减速方面的和谐困难，片面加快比片面减速更轻易。因此，从分配政策研究留意力的角度来看，关注困难的题目更故意义，也就是怎样放缓AI的发展。 结论和后续步调 总而言之，这篇博文偏重论证了两点： 1. 对于标题中的这个题目（AI发展应该加快、放缓，照旧保持稳定？），仍没有人能给出公道且明智的答案 2. 只管云云，审慎地安装「刹车」是明智的做法，从而为大概发生的环境做好预备 Brundage表现，现在缺乏「刹车」的环境让他非常担心，而且在他职业生活下一阶段关注的主题中，「希望速率」这个题目相称紧张。 只管他表现，「AI羁系步伐」与「国家竞争力」之间并不存在大多数人所以为的那种接洽，但他发表过的一篇推文直言：「与过分羁系相比，缺乏羁系，特殊是与安全+出口管制相干的羁系，更有大概导致美国失去AI范畴的领先职位」
参考资料： https://x.com/chrisalbon/status/1852799633380237453 https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow |
