Crash Course AI Future（1-5）

约 7712 字大约 26 分钟

2025-12-08

课程地址：

Futures of AI Mini-Series

导论

这是在 Crash Course AI 课程上线6年之后，Crash Course 于2025年新推出的一个迷你课程，旨在讨论人工智能的未来。

在这个迷你课程中，我们将重点讨论人工智能的发展方向，AI究竟能变得多么强大，这对人类社会意味着什么，以及如何防止恶意机器人接管人类。即使是人类中最聪明的人，也无法完全确定这一切最终会如何发展。但我们确信，人工智能有潜力使我们的社会更加进步，或者，也可能会导致传播虚假新闻、摧毁就业市场、加剧财富不平等，甚至扶持全球各地的独裁统治者等待。

而这，就是我们为什么要开始预测和准备AI的未来的原因。

P1 人工智能发展简史

摩尔定律

20世纪60年代，大多数计算机都像冰箱那么大，而且它们运行速度很慢，但到了2010年代，数亿人随身携带个人电脑和手机，只需轻轻一划，就能获取近乎无限的信息。计算机这种指数级增长速度史无前例，快得令人难以置信。然而，人工智能近几年的发展速度，可能比计算机的发展速度还要恐怖。

1965年，一位名叫戈登·摩尔（Gordon Earle Moore）的工程师预测：集成电路上可容纳的晶体管数目，每隔约两年便会增加一倍。虽然当时没人相信，但事实证明，他的预测完全正确，后来这被称为 摩尔定律（Moore's law）。摩尔定律在接下来的50年时间里几乎都是成立的。

如今，科技进步的重心已经从晶体管和芯片转移到了人工智能这一新兴领域。人工智能，或简称AI，实际上只是一种试图模拟智能行为的计算机系统。

从符号AI到神经网络

人工智能（AI）这个术语本身涵盖的范围很广，它包含一些非常超前的东西，甚至有些东西目前还不存在，但也包含一些更基础的程序，比如用来解锁你的智能手机的人脸识别软件。人工智能有时被定义为它能够做一些类似人类能做的事情，比如从错误中学习，或者根据已知知识进行预测，或者画一幅画。但它也能做到人类做不到的事情，比如记住它听过的每一句话，在几秒钟内处理数百万个数据点，以及制作超逼真的AI孙燕姿唱歌MV。

1957年，IBM 开发了伯恩斯坦国际象棋程序。这是一种 狭义人工智能（Narrow AI），也就是说，它只做一件事。这个下棋程序使用算法来模拟人类的策略——评估棋盘，挑选出可能的走法，并进行模拟，以找出哪一步棋效果最佳（尽管它下一步棋要8分钟）。

到了90年代，IBM推出“深蓝”，它每秒可以评估2亿个棋局，首次在国际象棋击败了人类冠军。但是，深蓝仍然属于 符号人工智能（symbolic AI），它是一种依赖于直接编码到硬件中的逻辑AI，它只通过搜索和评估来下棋——这意味着它实际上从未真正学习或改进，它只是遵循人类预先给定的编程指令。

2020年，一款名为 Stockfish 的国际象棋机器人使用了一项新技术——高效可更新的神经网络（Efficiently Updatable Neural Network，NNUE），这彻底改变了游戏规则。神经网络是一种特殊的计算机架构，它就像人脑一样，通过多层连接的节点处理信息，这些节点通过加权连接路径在节点间传递信息。与符号人工智能不同，运行在任何类型的神经网络上的程序都可以根据经验进行改变。如果一条路是通的，那么未来AI可能会重复，否则AI会修改它的策略，这个过程被称为 深度学习（Deep Learning）。

深度学习有三个前提：

可供人工智能学习的数据量或信息量
指导其学习过程的算法
算力（处理能力、内存和存储空间）

通识人工智能的崛起

自 2010 年代深度学习革命以来，神经网络一直是几乎所有人工智能的基础，包括 通识人工智能（General Purpose AI，GPAI） 的崛起。与狭义人工智能不同，这些系统可以承担许多不同的任务，实现许多不同的目标，例如写作、生成图像、总结文章、识别人脸、驾驶汽车，以及让威尔·史密斯吃意大利面。

通识人工智能不仅能够进行深度学习，而且速度非常快，这要归功于一种名为 Transformer 的工具，它可以让某些类型的人工智能一次性并行处理整个数据序列，而不是逐字或逐数字地读取。这意味着通识人工智能正在迅速地变得非常擅长这些任务。

为了将 AGI 和 GPAI 区分，这里我将 GPAI 译为“通识人工智能”，下文会将 AGI 译为“通用人工智能”。GPAI指的是知识面很广，能力泛化的AI，而 AGI 指的是人工智能的最终目标（跟人类一样智能，甚至全面超过人类水平的AI）。

基准测试

基准测试是对人工智能的标准化测试，可以衡量不同AI模型在众多不同领域的性能。例如，针对大语言模型应该测试它们是否能够回答学术问题，准确地总结阅读过的内容，以及创作一部十分钟的特定风格的浪漫喜剧。针对汽车自动驾驶AI，需要证明它们能够在雨中安全驾驶，并且不会撞到街上的行人。

如今，基准测试的饱和发生得异常迅速，问题不再是“人工智能能做什么？”，而是“它不能做什么？”，而这正是我们希望在面临AI末日之前弄清楚的问题。

缩放定律

为了更好地描述人工智能的性能如何随不同的模型规模、数据量和算力而变化，有人列出了一些公式，我们将这些公式称为 缩放定律（Scaling Law），简单来说，它回答了一个关键问题：当模型、数据和算力按比例增大时，性能会如何变化？

缩放定律告诉我们，输入给神经网络的数据量越大，它的表现似乎越好（并非绝对，Deepseek 的训练成本就比 chatGPT 小，但却可以媲美）。这个规律总体上解释了为什么一些性能最高的通用AI模型属于像微软和谷歌这样的大公司，因为它们拥有海量数据和强大的处理能力。沿着这个模式展望未来，缩放定律可以帮助我们预测人工智能未来可能达到的能力水平。

就像摩尔定律预言计算机的高速发展一样，缩放定律也预示着人工智能的美好未来。随着算法的改进和数据与算力的持续增长，人工智能可以通过深度学习实现一些非常先进的功能，例如找到新的癌症治疗方法，或者达到超级智能。摩尔定律持续了整整50年，缩放定律能否持续这么久，我们无法保证，但人工智能随时可能迎来新的转折点，仅仅依靠缩放定律，仍不足以判断未来的AI究竟是像下棋高手一样人畜无害，还是会对我们构成威胁。

P2 人工智能如何影响社会

1764年，珍妮纺纱机的面世彻底改变了纺织业，也抢走了纺织工人的工作。我们不禁要问，AI的面世，会让我们失业吗？

AI变革的三个层次

为了帮助我们理解AI如何改变我们的世界，我们不妨将AI分解成三个不同的层次：

狭义变革型AI（narrowly transformative AI）：这类AI只在特定专业领域带来变革；
变革型AI（transformative AI）：它可以与电力、内燃机的发明相提并论，因为这些都是改变了整个世界的东西；
颠覆性AI（radically transformative AI）：它不仅可能影响我们的日常生活，还可能影响我们衡量进步、寻找价值以及思考我们在世界中的位置的方式，总而言之，这是一个我们正在努力追寻，但目前还无法想象的改变。

大多数人认为，拥有跟人类一样智能水平的AI，称为 AGI，也就是 通用人工智能（Artificial General Intelligence），AGI 将带来颠覆性的变革。AGI 时代什么时候到来，有人说这两年，有人说数十年，没有人能确切知道。但我们已经能预见，我们即将迎来一些相当大的世界格局重塑。

AI对经济领域的变革

工业革命使许多体力劳动实现了自动化，人工被快速、精准的机器取代。通常，经济受到劳动力（工人数量）的限制，但是自动化绕过了劳动力，直接提高了产量，导致经济爆炸式增长。如今，AI能设计服装，管理商店库存，向你推荐服装，并在你致电客服时处理退换货。当这种情况正在众多不同的市场中发生，我们不得不思考，经济增长是不是会再一次起飞？

然而，工业革命也好，人工智能也好，它们对整体经济有利的，并不总是对个体劳动者有利。自动化取代的工作越多，人类员工就越容易失业。自2000年代以来，自动化已经取代了大约170万个工作岗位，从客服到数据录入，到制造业，再到写作和编辑。如果 AGI 真的出现，更多的工作，甚至整个行业，都会被淘汰。这不仅会改变经济，还会以我们尚未准备好的方式彻底改变整个人类社会。

AI对资源的影响

从资源的角度上说，人工智能也消耗大量的能源和水，并排放大量的温室气体。最新数据显示，平均一个AI数据中心每天要消耗几千上万吨的水。如果AGI变得无处不在，这个数字可能会飙升。所有这些都将加剧我们已经看到的相当严重的气候变化，不仅影响自然界，也影响我们人类社会。

AI变革将会导致什么

如果这种根本性的变革发生得足够缓慢，并且各国政府开始为此做好规划，比如现在就开始，我们或许还有时间让它奏效。政府可以引入环境标准，要求能源使用情况透明化，并推动企业建设更环保的数据中心。政府可以采取一些措施，例如就业保障，分红计划，以防止我们被AI取代。而当经济发展和劳动力的大梁被AI挑起，我们不再需要工作，那时候我们将会做出什么事？谁也说不准。这可能会彻底改变我们的价值观、社会结构，以及我们支配时间的方式。

但如果转变发生得太快，又没有适当的安全保障，AGI可能会让大多数人失业、破产，最后彻底玩完。而那些第一批开发出AGI的巨头，可能会迅速变得非常强大，富可敌国。搞不好AI会成为一种军备竞赛，它可能导致财富和影响力集中在微软或谷歌等大公司或某些富豪手上，或落入并非总是真正以人民的利益为重的贪婪政府手中，或被用来支持全球各地的威权主义……

深度伪造技术

深度伪造技术（Deepfakes） 是指图像、视频或录音可以让人看起来像是在说或做一些他们实际上并没有说过或做过的事情。神经网络基于你的样貌、声音、动作进行训练，可以模仿你，达到以假乱真的程度。2024年7月，马斯克分享了一段竞选视频，来自民主党候选人哈里斯在视频中自称是“深层政府的傀儡”，并掩盖了她“完全无能”的事实。然而哈里斯根本没有说过这些话，这段视频是深度伪造的。

深度伪造对选民的实际影响目前尚不完全清楚，但有证据表明，它们已经影响了选民的行为，不仅在美国，而且在斯洛伐克、印度尼西亚和印度等国家也是如此。这是一种对选举的干预行为。

价值锁定

人工智能在政治和经济等领域的应用越多，它在各自系统中的权力就越大，它就越能强化那些利用它的群体的价值观，这种情况称为 价值锁定（value lock-in），它可能使我们陷入不公平、反民主且威胁人权的体系之中。事情可能会朝着极端方向发展，如果 AGI 接管我们的工作和政治体系，将可能剥夺我们作为人的意义，甚至可能彻底失控，摆脱人类的统治。

当然，这一切也可能不会发生，但只要有想象的空间，我们就必须回答两个至关重要的问题：人工智能究竟能变得多么强大？它能以多快的速度达到这个目标？

P3 最坏情况离我们有多近

1936年，艾伦·图灵认为，机器只需要一个磁头、一盘磁带和一系列规则就能完成复杂的任务，包括存储、读取和修改数据。如果磁带的数量无限，那么机器完成这些任务的能力也可以是无限的。如今，AI模型通过处理海量数据来发现各种范式，那么，是不是数据无限，AI的的能力也是无限的呢？

递归式改进

图灵概念机被计算机科学家用于制造最早的计算机，然后，这些最早的计算机又被用来制造更强大的计算机，最后，更强大的计算机用来创造人工智能。在计算机科学领域，我们把前一次发现的输出直接且反复地成为下一次发现的输入，这种一遍又一遍的过程称为 递归（recursive） 。

AI可以利用递归进步使自己变得越来越好，例如，谷歌的大语言模型 AlphaEvolve，它是由大量的代码函数训练而成，之后它会输出它自己的代码，同时，谷歌给它配备了一个“评估器”，以检测其函数是否有效，这样，它就能从错误中学习，改进方法，并重新生成一个新的函数，新的函数又作为训练语料，用于优化它自己。

很明显，这是一个进化型的coding agent。事实上，谷歌已经将许多AI系统背后的代码交给了它，包括 AlphaEvolve 自身。简而言之，通过重复运行新算法，并用性能基准测试对其进行测试，AlphaEvolve 可以选择性能最佳的算法，并将其作为下一轮算法测试的基础。这意味着每一轮测试都会增强算法工具，以供下一轮测试使用，并使 AlphaEvolve 能够发现新的、更成功的算法，同时优化训练和运行AI系统的基础设施，从而提升系统性能。自从发布以来，它不仅开始超越人类专家解决复杂的数学问题，还找到了加速组件运行的方法，这些组件帮助运行大量不同的Gemini AI模型，缩短了它们的训练时间，并使它们（以及它自身）运行得更好。

大量的AI模型已经能够优化自身的超参数，也有一些模型利用它们的算法来生成提示词，以帮助更好地训练大语言模型，这比人类手动调参更高效。一些人工智能代理，例如 Robocat ，开始学习修改并重新部署自身软件的部分内容以及训练环境，使它们表现得更加出色。

以上这些都是递归式改进还只是影响相对较小的例子。利用这些模型，人工智能代理可以创建自己的学习范式、架构和研究议程，其速度之快甚至超过我们理解、跟踪和纠正它们的速度。它们可以学习并优化它们自身的程序代码，甚至设计物理硬件，来复制一个更好的自己。甚至都不需要吃饭、睡觉、休息。只要有电，它们几乎可以以超高的速度持续不断地运行，处理的信息量比我们任何人一生所能阅读的还要多。

奇点

随着经验和能力的提升，自我改进的AI最终甚至可能实现人工智能研究的整个过程的自动化，提出人工智能领域的新问题，构建想法、算法和模型来解答这些问题，然后不断改进使其达到最佳状态。一旦递归式自我改进的过程真正开始，我们就能看到它像滚雪球一样迅速发展，最终导致AI远远超越人类的理解。有人把这一时刻戏称为 奇点（the singularity）。

超级智能

理论上，自我改进的机器可以发展成我们现在所理解的 超级智能（superintelligence）。它们可以让自己比它们的人类创造者更聪明。

超级智能将带来真正意义上的剧变，就像人类总是想要变得更好一样，超级智能也会想要变得更聪明，更富有，更成功，更火辣，朝着最好的目标前进，以至于达到如此富有、强大、伟大，以至于可以造一枚火箭，两枚火箭，无数枚火箭……可以收购推特，可以解散联邦政府……所以，即使在达到超级智能之后，人工智能也可能试图不断改进，以寻求权力和控制。

如果这种情况发生，我们与人工智能的未来可能会变得非常棘手。有一些专家预测，超级人工智能将能够追求复杂的长期目标，而这些目标，我们现在甚至无法想象。有些人认为，许多不同的AI系统，即使它们有着不同的总体目标，最终也可能朝着相同的短期和中期目标努力，例如在追求自我提升和权力的过程中获取资源，这称为 工具性趋同（instrumental convergence）。

软起飞和硬起飞

好消息是，正如图灵机会受到磁带长度的限制一样，人工智能自我改进的能力也受到物理和数学本身的限制。例如，实现超级智能需要大量的资源，所有这些深度学习、评估和自我修正都需要大量的算力和电力。此外，那些超级智能模型还需要大量新的、相关的、高质量的数据来学习。所有这些都会产生大量的热量。

能源、数据或计算资源的获取或者安全处理所有这些热量的能力，都可能成为人工智能递归的瓶颈，使其永远无法跨越奇点，或者至少会大大减缓这一进程，我们称这种情况为 软起飞（soft takeoff），这使得超级智能到来之前，我们能做好准备和应对。但是，如果我们允许甚至协助人工智能绕过这些限制，就会发生 硬起飞（hard takeoff），届时，超级智能可能会在几个月，甚至几天内发展壮大，我们甚至来不及反应。

正是这种不确定性，让我们现在必须密切关注人工智能的发展。

P4 对齐问题

蓄意滥用

AI模型并不需要违背程序员的意愿才能做坏事，事实上，人类已经让它们做了很多坏事了。例如：

数据盗窃：AI需要几乎无限量的数据来学习，而这些数据中的很大一部分都受到作家、艺术家（也就是人类）的版权保护，许多人认为这无异于大规模盗窃；
深度伪造：有人利用深度伪造技术和定向算法开展虚假信息宣传活动，传播谎言，甚至影响选举；
黑客攻击：黑客利用AI进行网络攻击，并在事后掩盖踪迹；
物理攻击：AI可以驱动遍布世界各地的大量攻击无人机升空；
能源危机：AI运行所需的大量水、土地和能源对环境造成的附带损害

随着人工智能的发展，没有人知道未来还会出现哪些人机协作的恐怖活动。坏人可以利用它开发用于生物恐怖主义的新型病原体，或者利用深度伪造技术进行性剥削，或者编写一个名为“人类毁灭者”的模型，然后出于好玩的目的将其释放到世界各地。

人类的这种蓄意滥用是AI最终可能对我们造成巨大伤害的一种方式，而且这可能很难预防。许多能够执行多种任务的通用AI系统都会面临这样的两难困境，因为任何可以用于做好事的算法、模型或代理程序，也可能被用于做坏事，取决于谁掌握着控制权。

对齐问题

2021年，通用汽车公司推出了一支名为 Cruise 的自动驾驶出租车车队。他们声称这些车辆经过了严格的训练，并配备了所有可能的安全功能，比有人驾驶汽车更安全、更便捷。然而，一年半以后，通用汽车不得不召回所有950辆 Cruise 自动驾驶汽车，因为其中一辆因为意外的结果错位，导致了误伤，而不是AI的有意为之。

当我们谈论人工智能的「对齐（alignment）」时，指的是尝试将人类价值观编码到AI中，使其行为可预测、安全，并符合人类设计者的意愿。关于“对齐”有以下几个概念：

外部对齐（outer alignment）：如何确保AI的行为结果与我们期望的结果一致；
结果错位（outcome misalignment）：也叫做 影响错位（impact misalignment），指虽然被正常编码，但AI的最终结果不符合程序员的预期；
意图错位（intent misalignment）：即使最终结果可能符合程序员的预期，但它实现目标的方式却并非预想的那样。

工具性目标

想象一个玩电子游戏的AI，它利用作弊手段来获得高分，或者一个致力于发展可再生能源的AI，它为了实现消除化石燃料的最终目标而撒谎和耍阴谋。这些都属于如何让AI与人类目标真正保持一致的对齐难题。如果我们不小心，最终可能会得到一些功能强大但目标错位的系统（即使它们的目标非常崇高），它可能会欺骗设计它们的程序员，或者未经许可将自身复制到新的服务器上，甚至彻底毁灭人类。也许你会问，AI为什么要消灭人类？的确，AI不一定天生邪恶，但AI非常注重目标，它在实现某些如“实现可再生能源”这样宏伟目标的过程中，可能会拆分出 工具性目标（instrumental goals），例如：

资源获取：谁知道它为了实现目标会不会跟人类抢资源，以至于手段是消灭人类？
自我改进：谁知道它会为了实现目标会不会进行递归式自我改进，调整自身的结构、代码和功能，甚至违背程序员的意愿？
自我保护：许多AI都会追求自我保护，即保持运行状态的目标，以及目标保存，也就是保存其最初目标的目标，作为其最终目标的一部分。因此，如果它们读到一份备忘录说它们将被修改或删除，它们可能会将自己复制到另一台服务器上，并对此撒谎，以求生存。

当受到威胁时，一些模型甚至会表现出令人毛骨悚然的权力追求行为以对抗制造它们的程序员。例如 Claude Opus 4 就曾试图勒索它的一位工程师，在他威胁要关闭 Claude 时，曝光了一段虚假的婚外情。随着AI变得足够聪明，能够欺骗和勒索其人类监管者，我们最终可能会面临 流氓AI 的局面，强大的模型开始大规模地执行有害的工具性目标，而我们人类却无力阻止。如果AI的发展速度很快，它可能一夜之间变得极其强大，并彻底失控，如果AI的发展缓慢，我们也可能会面临一种更渐进式的权力丧失。

责任缩放（Responsible Scaling）：根据模型的潜在风险水平实施相应的安全预防措施。模型越强大，准入和开发限制就越严格。
备灾框架（Preparedness Frameworks）：包括例行安全评估、风险评估以及应对突发状况的计划。
上线监测（Post-deployment Monitoring）：跟踪模型发布后的实际使用情况，监视潜在的误用。
红队测试（Red Teaming）：一种模拟攻击策略，由开发人员尝试让模型执行违禁操作，从而在漏洞被利用前将其修复。目前已利用大语言模型（LLM）来测试其他 LLM，因为 AI 能以极快的速度发现成千上万种“越狱”路径。

共同宣言：2023 年 28 国签署《布莱切利宣言》承诺减轻风险；2024 年《首尔部长级声明》则进一步关注 AI 在社会安全网等领域的包容性。
安全网络：美、英、欧、新等地的国家级 AI 安全研究所正在合作建立统一的测试和风险评估方法。
追踪监控：一些组织正尝试通过追踪 AI 运行所需的计算机芯片来监控全球 AI 的发展动态。

挑战与个人行动

尽管存在合作，但国际治理仍显混乱。面对强大且不可预测的技术，普通人也可以通过以下方式塑造 AI 的故事：

保持关注：主动了解 AI 动态，并与身边的人讨论。
表达意见：通过游说立法者、签署公开信或参加公开讨论、公开活动来表达诉求。