全文6900余字，读完约需14分钟

(相关资料图)

2023年4月27日，法学家季卫东、人工智能科学家吴飞来到南都观察“黑镜成真：强人工智能应用中的法律与伦理”线上对谈，在强AI进入日常生活的背景下，以不同的学科视角，探讨AI发展、应用中可能的法律与伦理问题。本文整理自对谈记录的下半部分。

嘉宾（按姓氏首字拼音排列）：

季卫东：上海交通大学文科资深教授、计算法学与AI伦理中心主任

吴飞：浙江大学求是特聘教授、人工智能研究所所长

上半部分请见：

季卫东X吴飞：否定硅基生命人权，其实是“人类碳基沙文主义”

▌人机共融的世界

主持人：如果人工智能发展到一定程度，人工智能芯片可以植入人类身体，就可能轻易获得人类五千年文明。这样和一个没装芯片的人共同去考试，会不会很不公平？

吴飞：如果真的发生，新一轮的教育不公平或者说教育垄断就产生了。但我个人认为这是科学假设，毕竟没有发生。由于作为基座的AI和人类社会方方面面都开始发生关联，可能在方方面面产生有关AI的立法和规范需求。如果芯片被售卖，人人可以购买，公平竞争无可厚非，但若AI成为垄断型产品，被用以社会资源的不公平竞争，是不科学、不道德的。

善用AI，把它作为一种工具，是我们能够做的。“登高而招，声非加疾也，而闻者彰。”正因善于利用外力，人类才变得越来越强大。但君子也不要沉迷于器物，变成只会使用工具、不会制造工具的人，把自己变成工具化的人。

季卫东：这涉及到两个层面，一是人工智能与人有什么区别？深度学习使AI效率非常高，能够大量计算数据，组合、处理各种各样的问题，看起来和人差不多，智能水平甚至可能超越人类。AI可以处理差异，却不能自己产生差异，也就是人工智能不能创新。创新是人的本质属性，这是人和AI的不同之处。人和AI可以对话，但AI并不能理解含义，所谓对话，是AI系统在网络上反复计算，基于数据做出预测。因此，意大利学者埃琳娜•埃斯波西托（Elena Esposito）把人工智能与人之间的对话称为“人工沟通”。

如果植入AI芯片，涉及到人与AI另外一个层面的问题。如果人的身体、脏器一半以上由人工产品构成，机器人权的讨论就有现实意义了。尽管谈机器人的人格为时尚早，但若一个人大部分都是由机器构成，人与机器之间的边界就流动化、模糊化了，就要考虑机器人权的判断标准和界限如何把握。

如果AI的智力、功能水平超出人类，谈AI、机器人权利就具有了现实意义，至少需要重新界定“什么是人”。法学界还有关于动物权利的讨论。动物的智能不如人类，没有像人类的感情，但它有足够的判断力、行动力。对应动物权利，AI和机器人的权利是否也应该考虑？它的确和人不一样，但这不是不考虑机器人权利的理由，因为法律上承认胎儿的权利、承认植物人的权利，他们也没有独立的自我意识和判断能力。

关键问题不在于人与机器的区别，不在于机器是不是要被赋予人格，使ta有权利和义务，在于现在是一个人机共处的社会，芯片植入人最典型地反映了人机共处的状况。很多问题是过去没有碰遇到的。与其说人与机器人有什么不同，不如说人机共处的关系和秩序应如何构建，这是法学界应该认真考虑的问题。

主持人：《黑镜》中的另一个故事里，未来世界人们的生活，租房、工作、出行都会根据这个人的“信用分”被区别对待。女主角整天忙于提高自己的评级，为此设法去参加一个有“高档人士”出席的婚礼，寻求高级评价，但一路上各种不顺利，或是因为评分不够不能乘坐航班，或是因为情绪激动口出恶言被降分……整个剧看下来就是一个“困”字，她被“困”在系统评级里，不停挣扎却逃不出罗网……这个故事发布于2016年，2020年9月，《人物》发表了那篇著名的《外卖小哥，困在系统里》。这部剧集也应该算人类被机器奴役的一个形式，整个生活都被“困”在里面，两位老师怎么看这个情况？

吴飞：“算法亦法”是不足为取的，把AI算法当成法律或规章制度来执行，违背了法律的尊严和法律制度的初衷。之所以产生这样的“困”，是AI和人类社会在不断延伸和交互，人机共融时代出现了信息世界、物理世界和人类社会形成的新的三元空间，会产生大量人和机、机和机、人机相连的情况。但现在的法律法规、道德准则规定的都是人和人（少量规定的是人和自然之间）的关系。当然现在没有制定，并不意味着今后不去制定，可能会有其他技术或法条来约束算法的无序扩大。

季老师这样的法学家已经在思考人机共融时代的新法律，同时科技部也出台了很多AI治理的新规范。当算法变成电子手铐时，要用另外的算法打破这种毫无道理的桎梏。要把规章制度再变成算法，要一定的时间。长远来看，人类一定会想出好方法解决这个问题。

季卫东：《黑镜》描绘的是AI时代有趣但也恐怖的场景，这些场景在现实中已经频繁出现了。在杭州，政府部门和芝麻信用合作，根据评分做出行政制裁；还有法院利用芝麻信用的数据来解决民事判决执行难的问题。这种做法的出发点本身很好，可以解决一些现实问题。

这个基于大数据的信用评分系统又是制裁装置，就像《黑镜》的情节那样。最典型的制裁是屏蔽，屏蔽后就只有“影子”在那里了。监视、评价、记录、制裁等等，会让人想到米歇尔•福柯（Michel Foucault）的权力理论，层级化的监视技术与规范化的裁判技术结合起来，这就是打分社会的本质。评分评级系统必然会导致权力的产生和行使，此意义上，AI算法也构成一种强大的权力。

AI系统似乎还存在异化现象。例如机器人本来是为人驱使的，反过来人类却被机器人驱使。又例如就业歧视、“外卖骑手被困在系统中”。即使不考虑这类比较极端的情况，AI的评分系统确实也会引发社会分配的不公正。电影《极乐世界》中机器警察通过打分、排序来决定谁可以申请贷款、加入保险、被保释，甚至如何量刑——积分高的人量刑就可以低一点。积分使得社会阶层固化，分配关系发生变化，形成了虚拟的贫民窟。“困在算法里”也可以说是“困在虚拟贫民窟”里，因而需要从权利保障和公平正义的角度重新认识打分系统。

主持人：吴飞老师说过，我们需要可解释性、可信和安全的人工智能，能否展开说说这三点，以及我们如何做到

吴飞：目前，AI进入大数据驱动时代，每个人的刷脸支付、语音导航和视觉对象识别，都是AI后台做的概念输出。比如今天拿起手机刷到我的人脸图像，实际上是几万个人脸中，它认为这个人脸是吴飞人脸的概率最大，所以识别成为吴飞。如果要问后台的深度神经网络，为什么把他识别成吴飞？它肯定不会说是因为他有两个对称的眼睛、有一个鼻子、还有一个嘴巴，他嘴巴的宽度有多少。这就是以概率为主体的联结主义人工智能。它可以对结果做出它的阐释，知其然，也知其所以然。

但在AI发展早期，基于符号逻辑的AI可以解释人工智能推理结果。假设苏格拉底在我面前，我说：“每个人都会死，苏格拉底你也会死。”如果苏格拉底跳起来问他为什么会死，我会这么解释：大前提是所有人都会死，小前提是你是人，所以结论是：你也会死。这是一个非常具有可解释性的推理，是逻辑主义人工智能中经典三段论。

人类的所有知识、规则和符号不可能被全部装入一个水晶球，使其成为无所不知的知识大图，这是无法完成的任务。因为任何知识脱离它的土壤、上下文，都会产生错误，这就是不可解释性。

至于可信的人工智能，可以用网上一个例子来解释。AI算法可以以较低概率识别熊猫图像，如果在熊猫的图片中添加若干人的肉眼都无法察觉的噪音，算法竟然以极大概率将其识别成了长臂猿。ChatGPT也是如此，它可能以概率生成不真实的内容，又不告诉我们这些内容的来源，这就造成了价值失真。我曾看过一篇ChatGPT生成的文章，参考文献都是伪造的，但如果不去分析，很容易认为它写的就是合理的。因为它从已经存在的数据里学习到单词之间的关联，生成了内容。

有人将AI称为“黑箱”，我们无法看到其中的东西，也无法给出高质量的保障。这是AI理论需要突破的天花板。

▌权力与人工智能

主持人：互联网自它诞生以来就颠覆了传统的线性权力结构，从信息发布到权力影响力都在变化。一方面普通人有了更多的话语权和选择权，但另一方面也有很多关于“网暴”和“信息茧房”的讨论，ChatGPT会不会进一步放大这些现象？

季卫东：“信息茧房”的概念由凯斯•桑斯坦（Cass R.Sunstein）在《信息乌托邦》这本书中提出。在这本书中，他对AI时代信息环境的变化做了非常精彩的描述。首先，维基百科式的信息环境（每个人都参与了系统构建）导致了传播的个人化。短视频、微信都是这样，就像“我的日报”，我每天发布我的活动，甚至吃了什么。

这就使信息环境发生了非常大的变化。其结果，人与人往往是三观相同者聚在一起。例如在聊天群，人们聊到俄乌战争或疫情防控，往往一言不合就吵起来，要么意见不同者退群，要么群主把ta踢出去。类似观点的人聚集在一起，慢慢地就会形成信息茧房。其次，还有算法推送。你喜欢查什么信息，人工智能通过大数据可以获悉，并不断地把这类信息推送过来。这样每个人实际上每天都像袁世凯那样在看《顺天时报》，都以为一切如自己所愿。再者，还会出现群体极化的情况，当然也因此容易出现群体盲思。显然，如果政治家也处于信息茧房、陷入群体盲思，那就太可怕了。

现在的问题是，ChatGPT会不会放大这个现象？回答是肯定的。我们现在每天都对着ChatGPT胡说八道，然后它随时向你反馈，给出或一本正经、或油嘴滑舌、或看上去永远政治正确的答案。大家都用的是同一个ChatGPT系统，用不了多久，多样性就会逐渐衰退。每个人得到的信息反馈是一样的，这会进一步放大群体极化、群体盲思情况，局部的群体盲思可能会变成整体问题。

吴飞：之所以会出现信息茧房，还是算法本身的局限性。信息推荐的机理是协同过滤算法：A看了什么信息，B没有看，A和B是相似的，B就会被推荐A看过的信息。“相似”可以这么定义：季老师是上海交大法律系教授，B也是上海交大法律系教授，季老师看了这个帖子，B可能也会被推送季老师看过的帖子。

现在没有更好的算法能够敏锐地感知读者想阅读什么样的信息，所以信息茧房本质是信息推荐算法的局限性，算法本身的弊病让我们被困在信息茧房里。既然如此，算法设计能不能用一个随机扰动？随机找到一个起点重新推荐？但互联网平台，比如Facebook，一天有几亿条推文，信息扰动算法就很难设计。

如何破解信息茧房？如果一个人整天都沉迷在微信上，肯定看到的只能是类似事件，为了提高多样性，不如多浏览一些你认为比较好的网站获取信息，比如按照内容类别组织的门户网站。

主持人：翟志勇提过，人工智能规则的产生过程更近于普通法而不是成文法：产生于日常实践的需要，由多个分散的使用者协商生成，尊重判例，而不是一个权威自上而下地颁布。听上去是一个去中心的、颠覆既有权力结构的现象。同样地，GPT会不会加速这一进程？

吴飞：我以ChatGPT为例来讲解。任何数据都会在ChatGPT优化、生成中起到作用——每个存在都值得被记忆。大数据训练得到的结果，是把任意单词和其他单词的“共生”概念挖掘出来。这种训练模式下，某所大学的数据并不比某个公司的数据更重要。对机器而言，所有的数据被向量化，万物皆向量，向量都是平等的。共生概率计算出单词间相连的概率分布，这就是连词成句、连词成篇，继而合成内容。

其中人的交互也很重要，比如门户网站时代没有交互，某种程度上，门户网站非常狭隘，只把想推送的内容推送给你，也许还不如朋友圈的内容多样。Web2.0和Web3.0让每个人的选择更具多样性，人与人的交互也更自如，每个人的声音都可以被关注者听到。

季卫东：吴老师提出的几点非常关键。一是所有数据在AI大模型的学习环境中处于更自由的选择状况，二是重要性排序采取“谷歌化”的方式，不像门户网站是根据点击率、受关注程度排序。这种秩序在一定程度上是自生的、分散化的，似乎是人类秩序演化逻辑在AI系统里的技术性模拟。

另外，Web3.0阶段最重要的是加入了区块链技术。在Web2.0阶段人与人之间有很多交流互动，但必须借助平台，于是平台就有了很大权力。中国互联网公司采取平台战略，把各种资源集中在某一平台。Web3.0是点对点地交易、通过加密技术产生信任、签订合约，这就会不断增殖平面化、个体化的互动关系。这种互动关系会导致个人选择自由权的进一步扩大。

人与人不需要中心和媒介也可以直接沟通，建立网络信任与合作。这种新型合作关系特别体现在虚拟社区之中。在各个社区内部，往往通过聊天式的讨论、公告栏上的意见发表以及投票来做出决定。基于智能合约和协商投票的秩序由此出现，纯粹的程序正义也随之形成。这个角度来看，去中心化的秩序确实在AI时代产生了雏形。

我们知道，GPT是一个大模型。的确，自然语言大模型会形成分散化结构，每个人都在一定程度上影响数据的构成。但另一方面，大模型会产生庞大的聚合效应，从而导致多样化减少，使得系统本身产生权力。并且，由于AI系统的功能越来越强，程序设计也越来越复杂，人类从事的很多工作都可以由AI系统替代。其结果，很可能最终形成少数技术精英支配整个世界的格局。虽然现在不是这样，这个可能性是存在的。是否会出现20%左右的AI技术精英支配世界，剩下的人都无所事事或者到元宇宙玩网络游戏？

▌提问与总结

主持人：有听众提问，“吴老师说，在AI那里一切都是向量，但那些无法被量化的东西，比如情感和感觉，要如何被AI学习呢？技术上会不会有突破？”

吴飞：情感和感觉体现在行为里，需要通过数据去学习情感和感觉。但我们不知道情感、感觉怎么产生。只有清晰描述情感产生过程，AI才能很好地学习。现有若干算法尝试让AI通过外在的数据去学习情感和感觉，但是学习的效果不是很好。客观而言，AI还处于蹒跚起步阶段，最多是青少年时期，还有很多问题值得攻破和解决。

“涌现”也是如此，某一能力在小模型中没有体现，大模型中出现了，就是“涌现”。比如ChatGPT，1750亿的参数就可以合成内容、回答问题。但若参数只有十亿、百亿或若干亿，它就没有这样好的能力。诺贝尔物理学奖获得者安德森（Philip Warren Anderson）在1973年写过一篇文章，多者异也（more is different），“涌现”可以理解为从量变到质变，因此无法通过还原论和构建论来还原它呈现的能力。

主持人：您说的“量变到质变”是到某个临界点时就有可能发生？

吴飞：它已经发生，但无法做出解释。比如微软的学者做出现象级AI产品ChatGPT，这是一种现象，但不是逻辑推理层面的存在。

主持人：有听众向季老师提问：“人工智能的开发者、使用者、生产者如何分配责任？”

季卫东：提出责任分配问题，当然是有一个强烈的意识：在AI如此深刻地影响人类社会时，需要从法律角度来规制AI的应用过程、明确它的责任分配。在这里，我首先表示同意吴老师的一个观点，这就是在科技发展的过程中，过早的严格规制不利于科技发展，还是应该“让子弹飞一会儿”。但是，我想强调的是，当机器的自由度越来越大时，就有必要为机器设立各种各样的更严格的伦理标准，以防止强人工智能失去控制，给人类带来巨大的风险乃至危害。正是出于这样的考虑，自2021年以来，中国制定了一系列关于AI的伦理和法律规则，特别是今年3月份以来，接连有若干法律规范征求意见。

主持人：最后一个问题：“季老师您好，请问算法自动系统管理企业的风险和规制主要在哪些方面？

季卫东：由算法自动管理的企业，最大问题在于失控的风险，有违以人为本的原则。因此，欧盟的GDPR明文规定必须由人来监控自动化决策，并且不能假装有人监控。除此之外，当企业决策过程完全由算法来控制时，责任不容易明确，很难依法问责。不得不承认，AI系统的性能越强，算法的可解释性反而会变得越低，不容易解释和说明。既然不能解释和说明，那就很难根据因果关系来问责。企业在管理过程中特别强调合规和问责，这是法律的基础，但在算法黑箱化的情况下，问责就比较困难。强人工智能若广泛应用，就要提前介入，以免AI失控。

从相关的具体规范来看，2021年新一代人工智能伦理规范强调敏捷应对，企业按照人工智能产业新行动计划的要求在2021年推行算法滥用专项治理、在2022年推行算法综合治理。还有，2022年互联网信息服务算法推荐管理规定确立的算法备案制度，都是对自动化管理的风险防范，与提问者关心的问题是密切相关的。从最近的相关规范文本可以发现，政府部门试图通过算法备案制、专家复核程序等等明确算法自动作用的企业管理中的责任主体，并要求企业自身拟定风险清单。然后针对这些风险抽查核验，来加强对AI研发和应用的监管。

主持人：今天我们从社会关系、法律、伦理的角度讨论了人工智能给这个世界带来的一些困惑，最后，请两位老师分别说一说您对人工智能的看法、对其发展的展望，和它可能给人类社会带来的影响。

季卫东：GPT-4以及更高级的AI系统，可以提供人类思维无法构建或者重构的信息，通过这种方式来回应人类的请求。在万物互联互通的情况下，网络化的AI会以更灵活的方式形成或改变我们的生态系统。它看起来好像在复制人的智能，但从算法程序的角度来看，其实不是复制人的智能，而是复制人的沟通能力。AI系统不理解语言的意义，还能和人类沟通，这是因为AI可以提供预测，并且它的预测能力越来越强。在这种情况下，在人和AI的沟通过程中，机器的自由度会越来越大，越来越难以被人理解，越来越难控制，所以需要设立相关法律和伦理标准。

后天，也就是4月29日，七国集团的数字与技术部长会议将在日本高崎市召开，预计将会制定一项关于强人工智能治理的行动计划，并加强对ChatGPT等生成式人工智能系统的研究，并制定有针对性的国际规则。可以想象，中国也会及时在本国、亚洲以及联合国推进AI治理的规则制定和实施。

吴飞：以前谈起AI，可能要通过复杂的计算系统，才能看见AI的赋能之力。ChatGPT的出现让我们发现，只要通过简单的自然语言交互就可以让AI以文生图或产生其他赋能能力。AI像水和电一样，悄然和每个普通用户关联，这是一个标志性的时刻。AI和人类关联越多，意味着我们正走向人机共融时代。

AI是科技属性和社会属性紧密融合的技术，这个时代确实会产生很多法律法规和伦理道德的空白地带，因此一定要保证技术向善。在AI技术进步的同时，需要有法律法规约束AI的潜在性危害。无论这种危害是技术本身产生的，还是使用技术的人产生的。人机共融时代，AI应当成为人类社会的进步阶梯，或是让AI更好地赋能人类社会。

(全文完）

*题图来自动画电影《攻壳机动队》

标签：