新电车难题：用算法来分配社会悲剧

人工智能时代已经开始，如何与人工智能共处，或者说在我们还有能力的时候，给人工智能定什么规矩，不再是抽象哲学问题，也不必上升到谁主宰这类终极追问。它变得极为具体，比如下面这个场景：

行人横穿马路，来不及刹车，如果不转向，会撞死行人；如果转向，乘客会死于翻车。自动驾驶汽车应该做何选择？

这个问题已经迫在眉睫。自动驾驶汽车是最接近大规模商用的人工智能应用。无论中国还是美国，多家公司已经上路实测，不止一家公司宣布要在一两年内推出自动出租车。有汽车就有事故，有事故就有死伤，由人工智能来断谁该死、谁该无恙，它该怎么断？

很早以前，人工智能、机器人刚刚出现在人类的想象中，人们就已想到要给它们定规。科幻小说大师艾萨克·阿西莫夫（Isaac Asimov）提出了影响力极大的机器人三定律。

第一定律：机器人不得伤害人类，或者因不作为而使人类受到伤害；

第二定律：除非违背第一定律，否则机器人必须服从人类的命令；

第三定律：在不违背第一及第二定律的前提下，机器人必须保护自己。

机器人三定律定义严密，层层递进，它能解决自动驾驶汽车的选择困境吗？

不能。

看第一定律：机器人不得伤害人类，或者因不作为而使人类受到伤害。自动驾驶汽车不转向就撞死行人，转向则乘客死伤，都会伤害人类，它应该作为还是不作为？还有，哪个算作为，哪个算不作为？我觉得机器人想这些问题，能想到死机。

面对类似挑战，阿西莫夫后来给机器人三定律打了个补丁，在最前面加上第零定律：机器人不得伤害人类种族，或者因不作为而使人类种族受到伤害。可以把第零定律理解为要求机器人的选择与人类的最大整体利益相符。问题是怎么辨别最大整体利益是什么？

像金庸小说《笑傲江湖》中的神医平一指那样救一人杀一人，算不算？救一个小孩杀一个老人呢？救两人杀一人呢？救两个胖子杀一个瘦子呢？救两个女人杀一个男人呢？无穷无尽的计算，根本没有正解。机器人还不如死机算了。

自动驾驶汽车眼看就要上路了，机器人三定律不够用，怎样给它立个什么规矩？换句话说，你想要机器人按什么道德算法来运行？

首先，你得了解自己想要的到底是什么。我给你推荐一个自测工具——道德机器（Moral Machine），它在麻省理工学院的网站上（http://moralmachine.mit.edu）。点进去，你会遇到13 种情境，形形色色的人群组合，老的、小的、男的、女的、好的、坏的、胖的、瘦的，面对着自动驾驶汽车。假设你是乘客，你希望自动驾驶汽车牺牲谁，拯救谁？

我的推荐我先测，于是我知道了自己的偏好：

孩子重于老人，胖瘦男女对我完全没差别；多个人重于一个人，不论是什么人；人重于动物，遇到撞人还是撞狗，永远选择撞狗。如果转向和不转向都撞到同样多的人，那就不转向。如果转向的后果是我自己完蛋，那就绝不转向。

推荐你们也去做一遍，一分钟做完，对自己了解更多。

道德机器不是做着玩的，研究者用它来搜集社会在自动驾驶问题上的道德判断。此前有人已经在顶级期刊《科学》（Science）上发表论文，标题就叫“自动驾驶的社会困境”（The Social Dilemma of Autonomous Vehicles）。

读过论文，我发现自己的选择很有代表性。总的来说，我的选择是效用主义（utilitarianism）的。如果一个选择比其他选择更有效用，我就选它。一般来说，对社会而言，救多个人比救一个人更有效用，救人比救动物更有效用。研究者发现，效用主义深入人心，绝大多数人支持用效用主义来给自动驾驶汽车编制算法。更有意思的是，在这里，人们并不在乎人与机器的差别。人工智能采用效用主义算法来做决策，本身并不会让人们感到特别不舒服，并不比由人来做决策更不舒服。就是说，我们其实比想象的更能忍耐。我们知道人生有许多悲剧，必须有取舍，谁来做都得取舍。有取舍就有错，人能够接受机器犯错。

问题在于，人是自相矛盾的。以我为例，我认可效用主义算法，但如果自动驾驶汽车按这个算法来做选择，我却不想坐，更不会买。救多个人优于救一个人，即便这个人是乘客，这样做决定的自动驾驶汽车，你敢坐吗？你想买吗？

研究者发现，绝大多数人不敢、不想。他们希望买的是那种永远优先保护乘客的自动驾驶汽车。也就是说，绝大多数人都支持自动驾驶汽车使用效用主义算法，支持别人买这样的车，但自己不买。研究者认为，这造成典型的社会困境。你希望别人做的事，自己不做。结果就是谁也不做，最后这种自动驾驶汽车根本就没人买。

效用主义不行，并不是说换个算法就行。假如换个算法，永远优先保护乘客，你倒是愿意买了，但公众能允许这样赤裸裸地以行人为壑的做法吗？与效用主义针锋相对的另一种道德算法——康德式道德律令，认为人是目的而不是手段，一个人等于全人类，那更是让人工智能无从抉择，真不如死机算了。

说到这里，对道德哲学有了解的朋友已经懂了，自动驾驶汽车撞谁不撞谁的算法问题，其实就是古老的电车难题在今天的重现。电车难题是这样的：电车失控，转向要伤人，不转向也要伤人，如果你是司机，该做何选择？百年来，各种道德思想流派竞相抢答，没有一个公认的正解。今天无非是把司机换成了人工智能。这道选择题人类给不出正解，人工智能自然也给不出。

难道自动驾驶汽车就上不了路吗？

这倒绝不会。

第一个摆脱困境的思路来自人工智能专家。他们认为，既然解决不了这个问题，那就消灭它。谷歌的自动驾驶工程师说，道德算法是假问题。自动驾驶汽车能高速处理速度、距离、路况、天气等信息，用激光雷达和各种传感器提前感知，提前计算出最合理的方案。

使那些难以抉择的危险情境根本就没有机会发生。问它撞一个人还是撞两个人，这个问题它回答不了，但是这个问题在它那里不存在。工程师对技术魔法有谜之自信，不管你信不信，反正我是不信。

第二个思路是寻找与困境并存的策略，古往今来人类一直在做这件事。电车难题、人工智能的道德算法，本质上都是把悲剧分配给谁的问题。在理论上，不存在满足各种公平正义要求的正解，但实践中随时随地都在分配，一刻也没有因为不够公平而停止过，问题只在于它是如何分配的。

这正是奎多· 卡拉布雷西（Guido Calabresi）的名著《悲剧性选择：对稀缺资源进行悲剧性分配时社会所遭遇到的冲突》（Tragic Choices ： The Conflicts Society Confronts in the Allocation of Tragically Scarce Resources）最有洞察力的地方。

卡拉布雷西与罗纳德· H. 科斯（Ronald H. Coase）、理查德· 艾伦· 波斯纳（Richard Allen Posner）并称为法律经济学的三位创始人，卡拉布雷西做耶鲁法学院院长多年，是美国法律界的泰斗级人物。这本书的副题是“对稀缺资源进行悲剧性分配时社会所遭遇到的冲突”，专讲社会怎么分配悲剧：怎么确定悲剧总量，以什么方式分配给谁。

泰坦尼克号撞冰山，谁先上救生船？计划生育，如何分配生育指标？器官移植，谁优先获得器官？以及今天的新问题：自动驾驶汽车撞谁不撞谁？等等。

回答这些问题只能是全社会的责任。在《悲剧性选择》中，卡拉布雷西说，社会分配悲剧有四个策略：市场、政府、抽签、惯例。但没有哪个能长期维持分配的稳定性。

市场化分配是分散决策，但是价高者得不可避免地将已有的财富不平等延展到当下分配的不平等，并且注定将人们认为不可定价的东西比如生命也贴上价签。没有一个社会能允许用市场化分配一切。

政府分配的好处是较能反映民意——如果政治力量的对比产生自选票的话，但这也使得混乱成为现代社会的常态：如果政府直接出面分配悲剧，那就成为社会价值观冲突的替罪羊；民意如潮汐，总在分配谁去承受悲剧的政府，无法长期稳定地获得民意支持。

抽签把一切交给运气，看上去绝对平等，但抹杀了被社会珍视的另外一些平等观：为什么不先救孩子？为什么不把机会让给那些有巨大贡献的人？而且，抽签撕下了面纱，让悲剧无法避免地赤裸裸地摆到社会面前。社会其实不能承受这种真相。

所以，社会也用惯例、习俗、文化来掩盖对悲剧的分配，比如印度留存至今的种姓制度。可是，这种表面上无分配的分配有其代价：社会假装习以为常，披上虚伪的面纱。

社会要保有道德自信，就得将悲剧的分配伪装起来。卡拉布雷西认为，单一策略的效果往往不如混合策略，就是既不是全靠市场，也不是全靠政府，或者是抽签或惯例，而是多种分配方式的杂糅。即便如此，稀缺永恒，每个社会都在做六个杯子五个盖的腾挪，能玩就玩下去，玩不下去了，社会就只好重置游戏。

也就是说，社会的道德算法必然会周期性切换：因为无法在冲突的价值观中做出取舍，所以社会都保有它们，一个都不能少，但在时间上分开。某个时段，某个价值观占上风，直到它承载的负能量过多，终被另一个价值观所取代。风水轮流转。这是社会道德算法的跨时多元化策略，为相互冲突但都被珍视的基本价值观留下火种，并缓解冲击。

回到自动驾驶汽车的话题，自动驾驶汽车时代注定很快到来，哪怕不会有一个公认“正确”的道德算法。未来自动驾驶汽车里植入的算法是厂商自决、市场选择还是政府规定，都有可能，唯一确定的就是不管用哪个算法，都必然将制造属于它特有的那一类悲剧。等到这些悲剧沉重到社会必须切换另一种悲剧来承受时，齿轮转动，算法重置，悲剧的分配重新开始。

《跨界学习》

作者：王烁

作者简介

王烁，财新传媒总编辑。2016年耶鲁世界学者，2012年世界经济论坛全球青年领袖，2007年和2008年博鳌亚洲论坛青年领袖。2018年出版《在耶鲁精进》，2016年出版《我们为什么总是看错人》，2015年创办英文阅读公众号：BetterRead。得到App专栏《30天认知训练营》《王烁·大学·问》主理人。

内容简介

在这本书中，作者将通过30个认知训练实例，帮助你培养打破学科界限的学习方式，拓宽认知维度，从而更加高效地实现个人提升。

怎样从海量的信息里寻找聚焦点？大数据如何颠覆了公共利益？你对进化论有哪些误解？……这些都是你在阅读本书时将要参与思考的问题，它们涵盖经济、历史、政治、哲学、神经科学、社会心理学等各个领域。学思践行，但求精进。