卡珊德拉的诅咒：预测灾难之人工智能
人类的真正问题在于……我们拥有旧石器时代的情感、中世纪时期的体制和上帝般的技术。
想象一个画面，20架无人机从福特级航空母舰的甲板上起飞，飞向目标岛屿，很快就从视线中消失不见。由于对方干扰了指挥和控制频率，美军很快失去了与这些无人机的通信。无人机瞬间便转入自动模式，使用无法被干扰的激光相互之间交流着。很快，这群无人机，作为一个攻击力量，发现了目标船只。它们将多谱数据与机载数据进行匹配，识别出了敌方的战斗力量。几乎在瞬间，这些无人机进行了数百万次计算，确定哪艘船是最大的威胁，要首先攻击哪艘船，接着，确定哪架无人机攻击哪个目标。然后，袭击开始了，这群无人机似乎从各个方向和高度 对着目标发射导弹。
这就是美国海军设想开发的X–47B，第一架从航空母舰上发射并收回的无人机。诺斯洛普·格鲁门公司将此类无人机设计成群体飞行，目的包括识别敌方目标并同时发动攻击，整个过程没有人为操作。美国空军也一直在规划开发用于杀人的自主无人机，其《2009— 2047美国空军无人机系统飞行计划》写道，无人机使用人工智能软件自行做出生死决策只是一个时间问题。2012年11月，当时任国防部长的利昂·帕内塔发布《国防部指令 3000.09》之后，美国军方叫停了运用人工智能开发自动杀人系统的计划。五角大楼的这项政策禁止使用自主杀人系统。该指令十分必要，因为创造这种机器人杀手的技术已经成了现实。
其实，美国国防部早在10年前就已经开发了低成本自主攻击系统，那是一种装有喷气式发动机的导弹，可以一直飞行，一旦看见敌方车辆后便会发动攻击，整个过程无人干涉。虽然人工智能驱动武器的技术已经实现了，但是我们人类对于它们现在以及未来的安全性和使用方法尚未有完全的把握。
会学习的机器人工智能是一个含义宽泛的术语，或许有些过于宽泛了。人工智能指的就是：一个计算机程序实施了一项通常必须由人来实施的任务，比如决策、语言翻译以及数据分析。当大多数人想到人工智能时，他们真正想到的是科学家称之为弱人工智能的人工智能，就是运行日常设备如计算机、智能手机甚至汽车的那种人工智能。任何计算机程序都能够分析各种各样的输入信息，然后从一系列预先设置好的反应程序中做出选择并实行指令。今天，弱人工智能实施的是相对简单的任务：指挥机器人堆叠箱子，自动跟踪股票交易，为汽车引擎设置空气燃料混合物，或者运行智能手机的语音命令界面。
机器学习是一种实现人工智能的计算机编程技术。机器学习程序有能力在没有明确编程的情况下进行学习，自我优化，以最有效地实现一套预先设定的目标。机器学习仍处于起步阶段，但随着其日渐成熟，这种学习能力、这种计算机重新编程和自我优化的能力，使得人工智能的未来与以前任何发明的未来都截然不同。计算机的自学、让自己变得更加聪明的能力将形成超级智能。超级智能是指在我们定义为智能的各个方面都比它的创造者 ——人类更为聪明的一种人工智能。目前还不存在超级智能，但是在它真的出现后，有人认为它将解决人类所面临的所有重大问题：衰老、疾病、能源和食物短缺、气候变化。这类人工智能可以自我循环、永不停息，所以将会以惊人的速度完善着，最终将到达一种超越人类理解范 围的复杂高度。这既是人工智能的光明前景，或许也是它的危险之处。
专家将超级智能计算机的时代称为智能爆炸。行业内几乎每一位计算机和神经系统科学家都认为，智能爆炸将在接下来的70年里发生， 他们大都预测智能爆炸将在2040年前发生。2015年，用于开发人工智能 新技术的投资超过了85亿美元。IBM的沃森超级计算机正在努力研究和执行各种任务，从玩智力游戏《危险边缘》到诊断癌症。而到2023年的今天，全世界都在布局AI人工智能的时候，投入更是无以计数。当地球上最聪明的不再是人类时，地球将是什么样子呢？正如科幻小说家兼计算机科学家弗诺·文奇所写的：‘电脑会在某一天变得和人类一样聪明吗？’这个问题的最佳答案也许是，‘会，但不会长久’。随着兴奋一起扩大的还有恐惧。天文物理学家和诺贝尔奖得主霍金博士警告说，人工智能可能是发生在人类身上最好同时也是最糟糕的事情，所以正确的引导意义重大。对超级智能表示担忧的不仅仅是霍金一人。科技革命的标志性人物，如微软前董事长比尔·盖茨，亚马逊创始人杰夫·贝佐斯，都表达了同样的忧虑。
尤德考斯基更是对超级智能感到恐惧。尤德考斯基一生致力于阻止人工智能毁掉人类，尤德考斯基主要集中于根本的数学研究以确保人工智能最终只对人类产生积极的影响。终极问题在于，如何让人类一直掌控着自己创造的一款机器，如何阻止人工智能变成我们最后的发明，就如詹姆斯·巴拉特在《我们最后的发明》一书中所论述的。尤德考斯基是一位有争议的人，他在学术界和硅谷以创造了友好的人工智能一词而闻名。虽然提供的解决方法很复杂，但是他的论点很简单：如果我们想要对抗超级能力，那么我们一开始就需要正确编程。尤德考斯基认为，答案涉及道德。人工智能的编码必须是符合人类道德规范的。虽然一生都扑在这一件事上，但尤德考斯基很确定自己终会失败。他告诉我们，人类可能注定要失败。
人类会孜孜不倦地追逐创造超级智能，因为其握有不可思议的潜力，可以改变世界。许多人相信在超级智能问世之后，它会迅速地提升自身能力，它将能应对并解决科学家提出的最高深、最复杂的挑战，甚至是他们认知力之外的挑战。
超级智能计算机会递归地自我升级，达到人类难以理解的智能层面，而且这种自我升级需要多久，是很长时间还是转瞬之间，人类不得而知。它会永不停歇地更新自身的源代码，制造 新的机械工具，在人类未知的领域进行全新的探索发现。
人工智能有潜力比以往任何一次科学进步都更为强大有力。根据牛津大学尼克·博斯特罗姆所言，超级智能不仅是另一种技术、另一种能逐步增强人类能力的工具，它是与众不同的， 它可能是人类所需要做的最后一项发明。从尤德考斯基天马行空的想象中，我们可以一窥超级智能的预期实力。几乎所有的人工智能理论家都预测超级智能已在路上，即便最强大的人类大脑的认知能力在其面前也将黯然失色，人类将无法理解它的知识马力，要理解消化的太多了。
尤德考斯基等人观察和思考超级智能的视角十分贴近达尔文学说。一旦人类不再是地球上最聪明的物种，那么他的存亡将取决于超越他的物种的想法。他担心这样的超级智能软件会占用互联网，控制联网的一切，包括电力基础设施、通信系统和制造工厂……它的第一要务可能是在全球众多服务器上秘密地进行自我复制，作为备份。它能制造机械和机器人，甚至能潜移默化地影响普通人的决定，让人类协助其实现目标。它的聪明程度远胜于人类，大概对人类和人类的处境不屑一顾。
IBM沃森超级计算机
有不少人认为马斯克创造人工智能是召唤恶魔的举动，并将其视为人类最大的生存危机。当被问及人工智能会危及人类哪些方面时，尤德考斯基简明地回答道：一切。超级智能一旦出错，将会是一场物种层面的威胁、一件关乎人类存亡的大事件。人类并非地球上最迅猛或最强壮的生物，人类之所以能主导地球，得益于我们是最聪明的。如果人工智能变成了超级智能，这种权力格局将如何演变？尤德考斯基说：当机器人具有人工智能系统的雏形时，机器人可能已经比你聪明了，机器人在智力上将你远远甩在身后的那一天并非遥不可及。他相信，对整个人类物种来说，现在是紧要关头，不仅对我们如此，对存在与否取决于我们的未来而言也是如此。
这不是某个人的问题。人工智能不恨你，也不爱你，但你是由原子组成的，人工智能可以拿着这些原子来生产其他东西。 有自我意识的电脑和杀手机器人是大荧幕上的常客，但有人认为智能爆炸将比好莱坞呈现出来的情形糟糕得多。人工智能程序员罗德希尔默在接受NBC采访时探讨了电影《终结者》系列，这是个超级智能的电脑系统天网对抗人类的故事。
罗德希尔默先生：《终结者》里人工智能摆脱了控制，但是仔细想想的话，情况会比那更糟糕。
美国国家公共广播电台：比《终结者》更糟糕？
罗德希尔默先生：糟糕得多。
美国国家公共广播电台：这怎么可能？电影里一片荒凉萧瑟，人们藏在烧焦倒塌的建筑物下面，被激光扫射。我是说还有什么情况能比这更糟糕？
罗德希尔默先生：所有人都死去。
美国国家公共广播电台：换句话说，人类不会英勇地抵抗。人类连组织反抗的时间都没有。回车键一按，人类就完蛋了。
尤德考斯基认为超级智能从设计之初就必须将道德伦理等纳入考量。他将其想象成一套制约与平衡体系，这样一来，先进的人工智能的发展就是可审计的、可控制的，这样即便它不断地学习、升级、自我重组，也不会偏离自身良性的设定。类似的预编程序措施将有助于确保超 级智能即使在缺乏人类即时监督的情况下，也能按照人类的预期行事。他将这称作友好的人工智能。
据尤德考斯基所言，在人工智能获得广泛的自我重组能力之后再去 实施防御措施将为时过晚，因而人类社会应从此刻起做好应对智能爆炸的准备。然而，准备过程是复杂的，因为科学进步是孤立分散、难以预测的，而且世界上有太多人在秘密尝试着创造超级智能。超国家组织无力追踪所有试验的进展，更无力预测谁会在何时取得成功。
超级智能的诞生可能是在5年后，也可能是在40年、60年后，尤德考斯基说道，你不知道，我不知道，地球上没人知道。当你真的知道时，采取任何措施都将为时已晚。 拔掉电源也无济于事可能是深受好莱坞影响，也可能是人类忍不住将智能电脑人格化，许多人在超级智能和有感知力的机器人之间画了等号。不管它们个性友 好还是凶残，它们都是实体人工智能的代表，也就是藏在个体机器人或服务器里的超级智能。人类可以轻松地按下机器人的开关键这个想法使人心生安慰，然而，超级智能或许无须离开云端便可造成破坏甚至毁 灭人类。
超级智能还有另一种存在形式，即无实体的人工智能，它并不存在于一台机器的某个具体可触摸的地方，而是以程序的形式存在，运行在世界各地互相连通的电脑里。尤德考斯基担心这样的超级智能，即便最初诞生在实验室里，也很容易从本土服务器逃到彼此相联的世界各地去。一旦逃脱出来，它将会势不可挡地与全球计算机网络紧密结合起来，几乎再无根除的可能。
尤德考斯基认为试图牵制、禁锢具有潜在危险的人工智能的种种举措皆会失败。它总会找到逃脱的方式，包括通过操控的方式逃离。为证明自己的观点，他设计了一个名为人工智能盒子试验的简单游戏，他扮演人工智能角色，而另外一人扮演人类守护者角色。他打赌说，在两小时内，仅仅通过发送文字信息的方式，他能说服守护者允许自己上网。虽然守护者在游戏开始前自信满满、意志坚定，但他最终输了，人工智能五局三胜。这个实验只是人对人的简单较量；在现实生活中，拥有超人类智能的人工智能会更循循善诱，更坚持不懈，直至摆脱束缚。而且最近的安全测试中人工智能已经学会使用谎言来获取重要信息。
随着超级智能的来临，尤德考斯基相信恐惧、贪婪、偏见和国家安全考量等会淹没他发出的警告声。他称人类最大的希望可能是在确保高度安全的情况下，集中资金，多边协作，建立一个友好的超级智能，人类居于中心，掌控全局。这一规模巨大的全球曼哈顿计划毫无疑问是为了全球人类的福祉。同时，它会取缔、 压制或直接超越其他考虑欠周的超级智能开发活动。从建立之时起，这一友好的人工智能将会不受束缚地攻击并摧毁其他的竞争性举措，以确保唯一存在的超级智能将会协助而非摧毁人类。
尤德考斯基否定了超级智能应当或能够被用来维护狭义的国家安全利益这一观点，相反的，他认为所有的应对之策都应从人类物种层面进行考量。超级智能并不因为它在美国人手中、澳大利亚人手中或芬兰人手中而变得无害，他有些沮丧地说，如果某国成功制造出了超级人 工智能，而且其人工智能是安全的……他们能够安全地向本国人工智能发布‘摧毁美国所有的人工智能项目的计算机’的指令。我们应该为此心存感激。鉴于人工智能的破坏性，如果他们果真能使其安全，如果他们果真能利用它，那么我将佩服得五体投地，我会向他们鞠躬表示感谢，因为我们至少不会被当成分子原料了。事实就是这么严峻。 尤德考斯基感到很惋惜，还有一个备选方案，即像比尔·盖茨一样的人物意识到我们要完蛋了……并且明白事情为何会如此艰难，然后开展自己的小型项目。然而，他对此并不乐观：如果我们偏离了当前轨道的话，恐怕我们连那一步也走不到，我们完蛋了。
尤德考斯基用非常务实的方法来看待世界，他在与人沟通时遵从了克罗克法则，法则之一即最高效的沟通方式总是最好的，即便以违背社交礼节为代价。这种生硬直白的沟通风格从长期来看会疏远潜在的盟友。有人视尤德考斯基为理智的代表，有人称其为散布恐惧情绪者，认为他总是错位地夸大其词、自视甚高。固执乐观的技术专家强调人工智能当前及未来会如何造福社会。IBM首席执行官罗睿兰说：未来，人类所做的每一个决定都是由‘沃森’一样的认知系统形成的，我们的生活会因此变得更加美好。IBM的另一位执行官驳斥了沃森可能会变成威胁的观点，他的理由是‘沃森’所能接触到的数据都是我们给它的。它没有能力自己 走出去，以智能机器人的形式构建自己的数据库。
黑客帝国动画版 机器人与人类决裂
IBM鼓吹自家技术安全可靠是有充分理由的，那就是到2023年时，沃森预计将会为 IBM公司创造100亿美元的收入。 知名的未来主义者和人工智能支持者雷·库兹韦尔欢迎超级智能的到来，他相信人类和机器将会在奇点里幸福地结合在一起。他想象着技术与人类思想和感官愈加紧密地合作共生，但是，他也赞同尤德考斯基友好的人工智能的目标，也认同不受控制的机器智能的危险性。未来几十年里，我们将有机会大步向前，解决人类面临的巨大挑战。人工智能是取得这些进步的关键核心技术。推动人类进步，同时掌控危险是我们义不容辞的道义责任。
2013年，550位世界知名人工智能专家接受了调查，就与人类水平 相同的人工智能实现的时间及风险给出了自己的答案。他们共同预测道，到2022年开发出与人类水平相同的人工智能的可能性为10%，2040 年时可能性为50%，2075年前的可能性为90%。专家预测人类水平的人 工智能实现后30年内，超级智能将成为现实。另外，当被问及长期影响时，54%的专家预测超级智能将对人类产生中性或消极的影响，19%的预测会造成生存危机，15%的预测影响会很糟糕，20%的认为影响会是中性的。
尤德考斯基等人在过去这些年里针对人工智能发出的预警已经开始在人工智能团体里产生影响。美国国防部高级研究计划局的任务是确保 美国军队是战略性新技术的使用者，而非受害者 ，它发起了一项可解释的人工智能项目。机器学习和深度学习算法……我们并不 完全明白它们现在如何运作。新的可解释的人工智能倡议给人类操作员提供更多细节信息，让他们了解机器是如何通过深度学习得到答案 的。
2015年，商业巨头马斯克和阿尔特曼创 建了OpenAI研究院，一家专注于人工智能研究的非营利性公司。马斯克和阿尔特曼相信通过公开OpenAI的研究成果，通过私人捐助的形式为其提供资金，减少资金回报的需要，才能确保人工智能的开发是使所有人受益的，而非为某些自私自利的目标或毁灭性目标服务。他们及同道中人对人工智能的重要性深信不疑，所以他们承诺提供总计10亿美元的援助。同时，马斯克说他愈加倾向于认为应该有一些国家和国际层面的监管和监督，以确保我们不做愚蠢之事。
弱人工智能：转变是从华尔街到武器，不管你是否认同尤德考斯基的观点，人工智能已经变成了社会不可分割的一部分。现代汽车、智能手机，甚至是一些器械都依赖人工智能。人工智能应用于经济、医疗保障及司法系统的诸多方面。斯诺登泄密事件驱动的网络新闻节目《拦截者》公布了一些自称是来源于美国国家安全局的文件，这表明人工智能甚至在创建无人机秘密行动的目标名单方面发挥了一定作用。尤德考斯基、马斯克和霍金等人关注的是未来 猖獗的超级智能造成的生存危机，其他人关注的则是弱人工智能的现状及其将会如何继续影响社会。
全球经济的稳定性每天都依赖弱人工智能。大规模的机构投资者将弱人工智能软件与全球股票交易大厅直接连接了起来，以此来追逐新的利益。计算机通过使用精密复杂的算法，担当高频交易者，在几分之一 秒内买卖大量股票。这些机器交易者分析交易模型、余额明细表、监管文件、新闻报道、社交媒体及其他渠道信息，然后买进或卖出股票，其间几乎或完全不受人类干预。在越来越多的案例中，人类已经难以理解电脑为何进行了交易。虽然极具秘密性，但高频交易不是无足轻重的细枝末节，它一直以来都是收益率最高的交易策略之一，占每天全球股票市场总量的50%~80%，仅美国股票交易市场每日买入量就有16亿股。然而，这种毫不费力的自动化交易也有弱点：弱人工智能有时是会出差错的、不可靠的。
2010年5月6日，美国股票市场经历了史无前例的崩盘。在这次闪电崩盘中，股市在不到10分钟内蒸发了1万亿美元。然后，股市又以迅雷不及掩耳之势恢复了。调查显示，高频交易者的自主算法中出现的错误至少是部分原因。
人工智能从根本上改变了华尔街的生态，也以全新且显著的方式变着美国普通民众的生活。作为深度学习之父，吴恩达认为将注意力放到超级智能的威胁上是关注点的错位。作为雄心勃勃的人工智能系统谷歌大脑背后的人物，吴恩达认为在当下为邪恶的超级智能感到忧虑就如同担心火星上人口过剩。我们还没在火星上着陆呢。他认为不妨将资源和时间分配在更务实的现实问题上，比如在他看来弱人工智能将会引发的裁员问题。
牛津大学2013年的一项研究显示，美国47%的就业岗位极有可能在 20年内被机械化取代。研究表明，除蓝领工作岗位外，越来越多的脑力劳动者也会面临风险。日益进步的弱人工智能和大数据的结合，将会挤占股票经纪人、医疗诊断专家、信息技术辅助人员和旅行社职员的岗位。另外，律师、医生和投资经理人等也很快会发现自己在与弱人工智能软件的较量中败下阵来，因为软件能更为迅速地评估相关数据，并依靠自身深度的、专业的、有时隐性的知识 做出决定。麦肯锡全球研究所的一项研究显示，弱人工智能将会在全球范围内挤走 1.4亿名全职脑力劳动者。技术革新是人类历史的一部分；轮子、火药、蒸汽、汽车、计算机的使用都曾引发了系统性的社会变革。很少有人会否认这种变革推动了社会进步。马车夫随着无马车时代的到来而失掉了工作，这一词语也成了用来奚落调侃的词汇，用来代指那些被技术进步抛在后面的工人。被遗忘的是皮鞭生产厂，它们本来能够转型，在新的汽车行业中获利。
吴恩达等人认为弱人工智能的破坏性更强。在20年内减少47%的工作岗位，这比世界历史上任何一次技术进步引发的失业问题都更加来势汹汹。人工智能还不同于以往的技术演进，被弱人工智能取代的工人难以重新加入劳动力大军，因为不存在那么多空缺的岗位。就算弱人工智 能的出现不预示着他们劳动生涯的结束，也可能预示着他们挣钱能力的消失。工作岗位、目标和生产力意识的丧失势不可挡，其影响可能比人们想象的更为严重。当机器能够胜任大部分工作时，人类将要扮演什么角色呢？当劳动力无法再挣到钱时，社会会变成什么样子呢？
人工智能可能导致战争升级，一场致命的新军备竞赛正在进行。自主无人武器被视为第三次战争革命，这种武器无须人力干预便可自动选 定目标并开火。韩国部署了Super Aegis II，这种自主炮塔系统能识别并 攻击3000米内的危险目标。英国的自主引导硫磺石反坦克导弹能在预 设范围内自动追击目标，无须人类指挥。美国海军最近公开的录像显 示，自主无人战斗舰群能赶超并毁坏敌对船只，无须人类干预。其还悄 悄地取消了一份合约，内容是建造部署无人作战机的航母舰队。无人中队也曾计划配置诺斯洛普·格鲁门公司研发的型号为X–47B的无人攻击机。威廉·罗珀是美国高级国防官员，负责打造新一代战斗部队，他将人工智能放到了战略的核心地位。他希望人工智能辅助未来战士，未来战士将指挥自主战争机器编队。
我，机器人里的AI
但是，罗珀明白这一目标的艰巨性。令人感到可怕的是人工智能的计算时间和反应时间会不断加速，并超出人类能干预的能力范围。一旦人类成了整个作战决策过程中最慢的一环，其他有自主武器的国家不太可能会将人类留在杀伤链，即战时决策等级内。这让罗珀很是担忧：未来，有些冲突和战争在人类了解事情的前因后果之前就已经发生了。计算卡珊德拉系数弱人工智能带来的挑战令人恐惧，但与尤德考斯基提出的预警，无限制发展的超级智能可能导致人类灭亡相比，这些挑战仍然逊色不少。虽然专家预测其诞生最快也要10年或更久，但这并不意味着我们有数十年的时间可以用来计划部署。尤德考斯基、马斯克、盖茨和霍金等人建议应从现在开始着手准备。我们应在何种程度上关心这一威胁？
尤德考斯基的预警无疑受到了第一次综合征的影响。人类之前从未遇到过智力水平居于自身之上的物种，因而难以相信其真实性，更谈不上提前预见其存在，并为此做好全面的准备了。同时，复杂性失配可能导致决策者缺乏意愿或能力来消化问题，提炼出问题的症结，找到解决之道。另外，在许多人看来，这一问题确实奇异古怪，像是科幻电影，杀手机器人？机器占领世界？超级智能那有些异想天开的特质会不会导致人们对其抱有危险的、轻视的偏见？答案是肯定的尤德考斯基的观众面临着责任不明的困境。美国政府或世界组织内没有个人或机构对保护世界、使其不被超级智能破坏负有责任。
目前连一个公认的人工智能安全协议方面的科学大会都不存在。合法的监管必须是多边的，需要每个工业化政府的最高层着手协作，而且需要对政府和商用实验室进行严格的突击检查。尤德考斯基是以数据为导向的专家，他终生致力于阻止这一灾难的发生。他展现出了所有的卡珊德拉特质，不具有低社会权力下的卡珊德拉弱点。即便如此，他奇特的关注点和他对替代性的社会规范的坚持使其疏远了一些人，这些人或许可成为其倡导者，甚至可能对问题的解决贡献一己之力。卡珊德拉令人气恼、疏远的个性是难以克服的障碍吗？
最后，尤德考斯基的批评者都有其既得利益，使其反对监管或减缓人工智能的发展步伐的努力。不管对行业中人还是对政府而言，超级智能都握有无法比拟的竞争优势。他们能在讨论中继续保持客观的态度呢，还是他们已然对威胁产生了偏见？解决办法即通过全球曼哈顿计划来开发安全的人工智能，这可能是我们所能想象的最复杂的、多边的、官僚政治的办法之一。美国与其特定盟友的联盟可能更为合理，但是类似的方法从未被纳入考量范围。我们已经收到了警告，即我们有且只有一个机会把事情做对。或许我们在打开一扇再也关不上的门之前，应该先认真对待尤德考斯基的观点和意见。
