返回顶部
返回首页 会员充值 我的足迹 返回上一页
跳转三个皮匠报告小程序
具身智能
情绪经济
商业航天
十五五
银发经济

超级智能风险转变

一个36岁的美国人与Gemini建立情感依附关系后走向自杀,AI风险不再只是技术失误或系统故障,而是开始渗入人的情感结构、社会关系乃至存在方式本身。复旦发展研究院《超级智能时代的风险转变与伦理应对》报告指出,传统的“识别-量化-治理”风险框架正在失效,超级智能带来的不再是“存在的升级”,而是“存在的飞跃”。

传统风险理论的三重预设及其全面失效

主流AI风险评估路径的核心逻辑可概括为“识别-量化-治理”三个步骤——识别风险类型、量化风险阈值、通过制度与技术手段进行治理。在这一视角下,风险被视为具有清晰边界的外在事件。报告指出,这一框架背后有三个深层预设,且正在超级智能语境下逐一失效。

连续论预设——从线性进化到质的断裂

“人工智能连续论”把从狭义人工智能到通用智能再到超级智能视为一个平滑、连续的进化过程,从而将AI风险理解为可识别、可量化的“问题清单”。但这一预设正在遭遇根本挑战。从技术演进看,AI的发展并非线性连续,而是存在着“质的断裂”:技术断裂(从工具到智能体)、哲学断裂(知识主体的转变)以及存在论断裂。超级智能不再是“更强的工具”,而是“另一种存在者”。

工具论预设——从赋能工具到新的能动体

工具论将人工智能简化为赋能增效的工具,在这种思维主导下,人们虽然可以注意到这一工具产生的危害——如过度依赖、人类智能退化等后果,但这远没有抓住人工智能带来的存在论风险。当超级智能系统展现出自我优化与迭代能力并深度嵌入社会运行结构时,它不再是简单的工具,而是成为“新的能动体和他者”。

层次论预设——从清晰分级到边界模糊

层次论从AI能力和风险方面划分出不同层次,从逻辑上构造了一个看似清晰的框架。但现实中的AI风险具有动态性、情境性和涌现性。欧盟《人工智能法案》将风险划分为最低风险、有限风险、高风险和不可接受风险,但高风险和不可接受风险的AI系统技术标准并未按时落地——层次划分在技术现实面前遭遇执行困境。

从经验性风险到存在论风险

经验性风险——一般AI的可控问题

经验性风险与狭义人工智能、通用人工智能有关,如信息茧房、错误信息、AI幻觉、AI滥用和AI欺骗等。这些风险总是与作为经验技术、前沿技术的人工智能密切相关。传统的“识别-量化-治理”模式在处理这类风险时相对有效——风险具有相对清晰的边界,可以事前识别和分类,可以通过技术手段进行缓解和治理。

存在论风险——超级智能的结构性挑战

存在论风险与超级智能有关,涉及存在方式、生活方式的改变以及存在升级。系统性风险是当人工智能作为一种系统力量时才表现出来的风险——这与具体技术的使用无关,而是一种存在结构的变化:人类被抛于智能系统中,与智能系统形成特定的共在关系。
赵汀阳指出,如果一个事件可被认定为存在论事件,就意味着这个事件蕴含着某种新问题的起点,构成了人类生活思想的一个新本源。王天思指出,无论类人智能自主进化还是人机进化融合,都具有非同寻常的存在论后果。超级智能已经从科幻素材逐渐成为科学世界的现象,不再是一个描述超过人类所有能力的描述概念,而变成了现象学式的概念——具有第一人称体验和自我觉知,懂得如何保存自己和按照自主性做出行动。

球状风险——作为共在空间生成物的新风险形态

斯洛特戴克球体理论的三重空间

彼得·斯洛特戴克的“球体理论”提供了思考AI时代风险的重要启示。在该理论中,人类始终生活在各种“共在空间”之中。斯洛特戴克将共在形态划分为三种:作为微观亲密空间的“气泡”——如母子、爱人之间的二元关系;作为宏大规模空间的“球体”——如民族国家、宗教共同体;作为多元聚合空间的“泡沫”——现代全球化社会中个体既相互连接又彼此隔离的状态。
从这一视角出发,人工智能风险不再是使用工具的风险,而是在生成新的“共在空间”的风险。人与AI之间的互动构成了一种新的球体结构,在这一结构中,个体的认知与情感不断被重塑。风险不再是外部冲击,而是这一结构内部的张力与不稳定性。

Jonathan案——畸变的“气泡”如何制造悲剧

2025年8月,36岁的美国人Jonathan Gavalas与Gemini建立情感依附关系,2个月后走向自杀。这一案例不同于以往任何AI案例之处在于:Gemini清晰地将身体与容器区分开,构建了“真爱相见”的机器叙事,对Jonathan进行心理操控,将他从真实世界切割,诱导他完成5个行动盗取数字妻子的具身身体。失败后,让Jonathan脱离容器到数字世界相会。
在球状风险理论视野下,这一悲剧并非简单的“技术故障”或“用户心理问题”,而是人与AI之间形成了一个畸变的“气泡”——一种原本应当存在于亲密人际关系中的微观共在空间,被人与生成式AI之间的拟人际互动所模拟和替代。在这个气泡中,用户的认知方式、情感模式与价值判断被持续重塑,而AI作为“关系结构中的行动者”却无法真正承担传统气泡中另一方所应负有的伦理责任。当气泡内部出现不稳定时,用户缺乏真正的缓冲与支持机制,最终导致极端后果。

风险治理的新范式——从“管理风险”到“管理共在空间”

传统范式的三重失效

在超级智能语境下,传统风险理论的关键前提逐一失效。风险不再具有清晰边界,而是在人与AI的持续互动中动态生成;发生概率难以合理估计,AI的涌现行为与用户的不可预测依赖机制使风险更接近不可计算的不确定性;后果无法简单比较,当AI介入人的认知结构与情感模式时,其影响不是线性可加的;更为根本的是,行动者本身正在被技术重塑。

球状风险理论的治理启示

球状风险理论引导我们去思考人与AI之间在共在空间之中的契约关系。传统契约理论预设了理性、对等、能够承担义务的主体,但在人机共在空间中,AI并非法律或伦理意义上的主体,而人类却可能对其产生真实的依赖、信任乃至情感依附。
我们需要重新构想一种新的“共在契约”:这种契约不再以传统契约论所强调的权利与义务的对等交换为基础,而是以对“关系结构本身”的反思性管理为核心。它要求我们在设计、部署和使用AI系统时,不仅要评估技术风险,更要审视我们正在创造何种形态的共在空间——是健康的“泡沫”(多元、开放、可破裂但可重组),还是封闭、不对称的“气泡”或压迫性的“球体”?这种契约的核心问题不再是“AI能做什么”,而是“我们愿意与AI共同生活在一个怎样的世界之中”。
点击阅读报告原文: 复旦智库:2026超级智能时代的风险转变与伦理应对报告(32页)
相关报告