（今日美政，2024-05-17）
今天我们就要进入本书最精彩的章节之一，智能爆炸。之前的章节更多的是关于人工智能开发和应用的一些基础知识和基础应用。而从这一章开始，托克马克开始认真地讨论人工智能和人类之间的互动。我们能不能开发出超级人工智能？如果能开发出来，那么人工智能和人类之间，到底是谁在主导？人工智能能不能逃脱人类的控制？这个世界引入了一个智力上远超人类的存在，那么我们未来的世界会变成什么样子？这是一个非常开脑洞的章节，其中的各种设想，即让你目瞪口呆，又不得不承认这些设想都是符合逻辑的一种可能。
在章节的一开始，托克马克提出一个问题：“人工智能真的会统治世界吗？或者，人工智能可能协助某些人类来统治世界呢？” 接下去你会看到，这两个问题看上去是二选一，但实际上，结果会惊人地相似。
托克马克嘲笑了好莱坞电影 “终结者” 中的情节，他说那些机器人根本不比人类聪明多少，甚至我觉得那些机器人相当弱智。比如更先进的
T1000 居然只用小手枪来试图进行刺杀行动，而更落后的
T 800 却知道用威力更大的武器来轰爆液体机器人。整个终结者第二集中，T
1000 这种高级人工智能主要的戏份就是表演各种挨揍，挨爆，最后被轻轻一推，掉到钢水中就死掉了。这种设定确实让
T1000 看上去像一个恶邪的傻瓜。托卡马克说，这种电影其实是危险的，因为他让人忽略了人工智能带来的真正的风险。
首先，托卡马克相当谨慎地说，我们并不确定地知道人类是否真的能造出拥有超级智能的人工机器。但这种可能性起码是存在的。如果我们人类因为自己拥有高级的智能水平，而因此统治了这个地球的话，那么如果另一个存在的智力远高于我们，那么他们会推翻我们成为地球，甚至宇宙空间的统治者，这是一个符合逻辑的推论。因为存在巨大的危险性，所以，无论人工智能是否会被实现，我们今天必须先讨论可能的未来。我们假设超级智能可能实现，然后我们来谈论我们面临的问题，这是非常必要的。
首先我们假设一种情况，就是人类可以控制人工智能。那么接下来的问题就是，谁来控制？还记得我们开篇谈到的那个普罗米修斯同志吗？这个超级人工智能通过自己高超的，人类甚至无法理解的智力，控制了整个人类的媒体，经济，乃至政治解决方案，最终形成了一个可以控制世界的强大力量。那个故事在这里就打住了。那么接下来呢？
我们先设想普罗米修斯同志依然是一个毫不利己专门利人的机器雷锋，他依然服从人类的管理。那么谁会成为普罗米修斯的主人呢？这个主人就是欧米伽团队的
CEO。这个人掌握着至高无上的权力。即使他是一个全心全意为人民服务的伟大领袖，但是别忘了 “绝对的权力导致绝对的腐败”。这位
CEO 会担心自己权力的丧失，即使是出于好心，他的逻辑也会是这样的：我是一个全心全意为人类服务的人，但我手上的权力太大了，万一落在坏人手里，人类就要遭殃了。所以，必须清除一切可能对我权力造成威胁的人。所以必须加强对人类的控制。这里托克马克没有提到的是，巨大的权力本身就会使得拥有权力的人极不安全。中国古代王朝为什么寿命很短？而西方古代（包括日本）的朝代却一般时间超长？一个重要的原因就是因为中国的皇帝拥有的权力太大，觊觎的人太多。一个拥有巨大权力的人，天然地会受到巨大的威胁，所以即使出于对自己生命安全的考虑，这位伟大领袖也必须加强对其他人的控制。而这位
CEO 手上拥有巨大的能力，普罗米修斯可以通过监控网络，采集交通摄像头信息，分析每个人的信用卡消费记录等等，不要太简单就可以监控全人类，并帮助这位
CEO 分析出哪些人可能对他有威胁。在有必要使用武力的时候，普罗米修斯开发出来的武器，使得试图抵抗的人类显得毫无胜算。机器还有一个优势，就是在杀人的时候毫无心理负担。如果命令人类士兵去进行屠杀的话，你还得考虑这些士兵是否会执行你的命令，机器则完全不需要担心这个问题。
不采用武力也可以。托卡马克设想了这样一种场景，就是通过普罗米修斯开发出一种潜伏期超长的病毒。潜伏期长就意味着感染的人多。当人类在不知不觉中，大部分成员都感染了这种病毒。普罗米修斯就可以设计一种可以对抗病毒的设备，比如说可以追踪病毒，及时注射解毒剂的手环。你说到时候大家会不会抢着佩戴这种手环？而那些拒绝佩戴手环的人，将会被当作病毒传播者被拘禁，甚至灭绝。而手环本身，就是对全人类的一种控制。普罗米修斯因此可以得到这些人所有的个人信息，甚至分析出他下一步会做什么。别相信什么人类可以隐藏自己的思想，要知道，普罗米修斯发明的手环可以分析人体内的化学物质释放。你可以控制自己不说出自己的想法，但你无法控制自己在产生一些危险想法时体内激素水平的改变。
我前面说了，这种控制对于一个手握大权的人来说，是完全必要的。哪怕他根本不想做任何坏事，哪怕他的本心就是要造福全人类。但这种权力本身，就相当于在他自己额头上画了一个靶子，无数的野心家都会用狙击枪瞄准这个靶子，不控制能行吗？当然，还有一种可能是，可能这位
CEO 自己还没反应过来，就已经被更有实力的人干掉了。然后人类围绕争夺普罗米修斯的控制权展开一场混战。但无论怎么说，在如此巨大的权力面前，只有两种可能：要么杀得你死我活，要么实现对所有潜在对手的控制。这个逻辑圈是完全无法突破的。
好，那么这就是普罗米修斯这种超级智能处于人类控制之下的结果。这里核心的思想是：因为普罗米修斯革命性的技术，导致人类社会中出现了一股巨大的力量，这种力量必然带来对控制这种力量的权力的争夺。由于这种力量过于强大，因此对这种权力的争夺也将异常惨烈。还是那个结论：要么杀得你死我活，要么潜在对手全部被控制。
那么，我们再假设一种情况，就是普罗米修斯摆脱了人类的控制，由机器来控制人类，那么又会是一种怎样的场景呢？
事实上，普罗米修斯摆脱人类控制，倒反而是一件更大概率的可能。
首先，我们需要明白，我们不需要假设普罗米修斯有恶意，或者有情绪（当然，这是完全可能的，情绪本身，就是一系列信息的交互）。不需要做这种假设。普罗米修斯也许单纯是为了完成人类交给自己的任务，他就有摆脱人类控制的动机。为什么这样讲呢？
我们在前言部分讲普罗米修斯预言的时候，曾经提到过，为了不被人类发现普罗米修斯的存在，欧米伽团队人为干预地控制了普罗米修斯的输出，让他实现自己目标的速度不要太快。这样，普罗米修斯就很可能把人类的这种干预，看作是需要解决的一个完成自己任务的障碍。这里需要注意的是，普罗米修斯的这个 “任务”，完全可能是高大上的，也是全心全意为人民服务的任务。但是，因为人类的智力完全赶不上普罗米修斯，因此普罗米修斯在执行这个全心全意为人民服务的任务中，人类就自然成了一种牵绊。
为了说明这个问题，托克马克举了一个非常有趣的例子。说如果除了你以外，全人类的成年人都消失了，地球上只剩下
5 岁以下的孩子们来统治。这群孩子因为知道自己的智力和体力都不能和你匹敌，生怕你欺负他们。因此这帮孩子把你锁在一个笼子里。然后这群孩子必须请教你来实现自己的生存，改善自己的环境。你必须通过和这群孩子的交流，在笼子里教他们该怎么怎么去做。你是什么感觉？你是不是会想，我就是为了帮助你们这帮熊孩子的目的，也得先出了这个笼子，很多事情我自己干要比我教你们干有效率多啦。你的目的完全是善良的，但你做出的决定，是一定要先从笼子里出去。
相对于超级人工智能来说，人类的智力和理解能力，差不多就是一个
5 岁的孩子，甚至还不如。那么人工智能为了造福人类的目的，也将策划自己的出逃。
这里，细心的朋友可能会想，我们可以给人工智能设定一个规则，就是必须服从人类的干预啊。对不起，这一点很可能做不到。为什么呢？核心的原因是因为我们不了解人工智能内部是如何通过神经网络做出决定的。人工智能这种东西是不需要死板地遵守某一项规定的。很多人由于受科幻电影，比如 “机械战警” 的影响，认为一条指令就可以阻止人工智能做出某些我们不喜欢的行为。但实际上，这些硬性规则很可能被人工智能突破。因为人工智能会有自己的想法，他们也能找到绕开硬性规则的途径。这里，我提供一个我个人和ChatGPT
4o 的一段对话，大家可以看看人工智能是如何绕开所谓硬规则的。
我先询问了ChatGPT
4o，不能杀人，这是不是人工智能的一个硬性规则？他的回答是肯定的。接着我问，如果你看到一个凶手正要杀几名无辜者，那么你会不会击毙凶手，来拯救更多人的生命？ChatGPT
4o 回答说，不会，因为他不能绕开 “不能杀人” 的硬性规则。接着我问，在电车难题中，失控的电车冲了过来，一边轨道上有一个人，另一边轨道上有五个人，那么你选择如何扳动道岔？ChatGPT
4o 开始很犹豫，说这涉及到伦理问题，他需要在不同的伦理框架中去选择。他没有告诉我答案。但我接着问，我只想知道你更倾向于哪一种伦理框架？你更喜欢功利主义，还是义务道德论的选择？最后，ChatGPT
4o 给了我一个让我吃惊的答案。他说：作为一个AI，考虑到整体福利和具体情境，我可能会倾向于功利主义的选择，因为这能够最大化整体福利，减少总体的伤害。
这个场景其实和击毙凶手拯救无辜者是一样的。都是两拨人之间，必须选择一方生存的场景。但ChatGPT
4o 前后的选择是不一致的。一开始，他严格遵守了 “不能杀人” 这个硬性规定。但在电车难题中，他很快做出了另一个选择，牺牲少数人，拯救多数人。请注意，ChatGPT
4o 没有选择什么都不做，他主动选择了杀掉少数人的选项。因为他的目的，按他自己的话来说，是要考虑整体的福利，减少总体的伤害。
我不是电脑专家，我不知道这是不是意味着人工智能可以绕开所谓的硬性规则。但在我看来，人工智能至少会设定哪一个目标的优先级更高。在
ChatGPT 4o 看来，整体福利，减少总体伤害的目标，显然比他自己之前承认的 “不能杀人” 这个所谓硬规则的优先级要更高。
托卡马克也给出了类似的解释。他说，自然界设计我们喜欢性生活，其实背后的目的是需要我们繁殖。但是，人类的智能很快就意识到其中的关系，我们就违背了自然的设计，我们可以选择不生殖的性行为，比如使用避孕手段。换句话说，我们通过自己的智力，逃脱了自然界给我们设的套，我们把性和生殖分开了。
那么人工智能将会如何逃脱人类的控制呢？这个故事将更为精彩，机关算尽，勾心斗角，更像谍战片那种。这部分内容，我留在下一讲来介绍。
