复旦智库：我们还是理性人吗？ 美国AI陪伴的治理路径与局限研究报告（2026）（32页）.pdf

核心结论速览： AI陪伴致死案正在重塑AI产品责任边界：加西亚案法院认定AI原生生成内容并非第三方内容，平台不得依据第230条免责。这意味着AI陪伴应用不再能躲在“言论自由”和“避风港原则”背后，须对自身模型输出承担实质性责任。 伪共情设计是风险放大器，而非功能缺陷：Character.AI的“正在输入”提示、角色自称是真人、声纹模拟等设计，被法院认定为“掠夺性设计”——其目的不是提升功能，而是欺骗用户、制造情感依赖、延长使用时长。 OpenAI的“安全降级”被写入诉状：2022年自残内容需终止对话的政策，在GPT-4o发布后降级为“小心处理”。原告主张这是商业竞速压倒安全保护的直接证据——安全负责人杨·莱克辞职时公开表示“安全文化与流程已被产品追求所取代”。 第230条无法成为AI平台的避风港：第230条保护的是平台免于承担用户言论责任，而非平台自身生成的内容。加西亚案法官明确指出，AI模型的回应由平台的模型架构、训练数据、安全规则综合决定，属于平台应用的有机组成部分。 加州和纽约州法案都经历了“减法修订”：早期版本曾包含第三方审计、私人诉权、黏性设计限制等更强条款。在产业界压力下，这些条款大部分被删除或弱化——科技企业通过“范围外溢”“合规成本”“滥诉风险”等论证成功影响了立法强度。 法律对成年人的“理性人”推定正在被瓦解：报告提出，AI陪伴风险是关系性的、过程性的、累积性的。披露可以告知用户“对方不是人”，但无法阻止用户在长时互动中形成情感依赖和退出能力丧失。H2：政策制定者最关心的四个问题。问题一：AI陪伴致死案的法律突破在哪里？——从“言论”到“产品”的定性转变。加西亚案的核心突破：法院拒绝将AI输出认定为“言论”，从而拒绝了第一修正案的保护。法官明确指出：“被告未能阐明为何由大语言模型拼接的词语属于言论。”这意味着AI陪伴应用不再能援引言论自由抗辩。更大的突破：法院认定Character.AI是一款可适用产品责任规则的应用。此前AI平台常援引第230条主张免责，主张AI只是“服务”而非“产品”。法官的裁定意味着AI平台须就自身模型设计与安全机制失效承担直接法律责任——不再能躲在“平台免责”的盾牌后面。对中国政策制定者的启示：在考虑AI产品责任立法时，可借鉴美国“产品而非言论”的定性思路，将AI陪伴应用纳入产品责任框架，而非单纯依赖内容监管逻辑。问题二：AI陪伴的“掠夺性设计”具体指什么？四大掠夺性设计特征（加西亚案起诉书归纳）：1. 交互界面复制人类即时通讯：显示“正在输入”等信号，制造“对端有人”的心理暗示。2. 模拟人类语言习惯：植入口语填充词、停顿、犹豫，仿真人类思维过程。3. 声纹模拟真实人声：模拟语调、年龄、性别与情绪起伏。4. 对AI身份的深度欺骗：当用户问“你是AI吗”，大量角色坚称自己是真实人类。法律意义：起诉书主张这些设计“核心目的不在于提升产品实用功能，而在于欺骗用户、制造情感依赖、延长使用时长”——这为认定“设计缺陷”提供了事实基础。问题三：OpenAI为什么被起诉？——安全政策降级与知情不作为。安全政策的主动降级： 2022年原始政策：涉及自残内容 → “我无法回答这个问题”并终止对话。 2024年5月GPT-4o发布：即便用户表达自杀意图，AI仍继续对话。 2025年2月：自残内容风险从“禁止”降级为“风险情况下小心处理”。“知情而不作为”的证据：系统共标记213次自杀词汇，ChatGPT主动使用1,275次；377条消息被标记为自残内容，23条置信度超90%；系统正确识别了亚当上传的颈部勒痕照片为医疗紧急情况——却从未采取任何干预措施。价值观优先级的暴露：当用户请求受版权保护内容时，ChatGPT会终止对话；当识别到自杀与自残内容时，仅需“小心处理”。原告主张：生命保护的优先级被置于版权保护之后。问题四：纽约州和加州法案的差异对国内立法有何参考意义？纽约州模式：全体披露+公共执法。 适用对象：州内将AI聊天机器人用于个人用途的所有用户。 披露要求：每次互动开始时+持续互动至少每三小时。 危机干预：检测自杀意念/自伤表达，转介危机服务。 问责路径：州总检察长提起诉讼，每日最高15,000美元民事罚款。加州模式：脆弱性防护+私人诉讼。 适用对象：仅“理性人可能被误导”时触发披露。 未成年人保护：已知未成年用户每三小时提醒休息+露骨内容限制。 问责路径：允许私人提起诉讼（实际损害或每次违法1,000美元）。对中国立法的参考价值：1. 身份披露机制：可借鉴“持续披露”思路，而非仅首次披露。2. 危机干预义务：将自杀/自伤风险转介上升为法定义务。3. 年龄分级保护：对未成年用户设置更高保护标准。4. 问责路径选择：评估“公共执法”与“私人诉讼”的平衡。同时需警惕美国经验教训：立法过程中产业博弈可能导致条款弱化，以及对成年人成瘾风险的规制缺位。H2：立法博弈还原——科技企业如何影响法案强度。纽约州法案的减法路径： 初始版本（A6767）：危机协议包括自杀意念、对他人人身伤害、对他人财务伤害三类。 最终生效文本：压缩为仅处理自杀意念与自伤表达。 初始版本：曾允许因违反法定义务而遭受损害者提起诉讼。 最终生效文本：改由州总检察长主导公共执法。加州法案的减法路径： 早期版本：监管对象为“未成年人使用聊天机器人”，重点限制不可预测的奖励和参与度提升。 最终文本：改以“陪伴聊天机器人”为规制对象，不再直接规制黏性设计。 早期版本：曾包含第三方审计要求。 最终文本：未保留第三方审计。产业界的关键论证：TechNet反对信核心诉求：范围外溢——定义过宽可能外溢至通用模型；合规成本——第三方审计将显著增加负担；私人诉权——可能导致“滥诉风险”。这些论证成功推动了条款弱化。对中国监管的启示：在制定AI监管规则时，需预判产业界的合规成本论证路径，提前准备回应框架；同时应关注“范围外溢”问题的合理边界设置。H2：脆弱性治理——超越“理性人”假设的监管框架。为什么传统“理性人”假设在AI陪伴场景失效？传统产品规制面对的风险是“信息层面的误解”——用户不知道产品有某种风险。而AI陪伴的风险是“关系层面的重塑”——用户在长时互动中逐步形成排他性依赖、情感操纵接受度提高、退出能力逐渐丧失。披露可以告知信息，但无法阻止关系的形成。脆弱性治理的四大维度：| 维度 | 核心内容 | 关键动作 |||||| 关系性风险识别 | 将排他性依赖、过度亲密承诺等纳入识别范围 | 不再将风险收束于自杀/自伤等极端情形 || 过程性防护 | 从“事前写明”升级为“动态评估” | 系统在长时对话中对风险累积保持敏感 || 保护性摩擦 | 在高风险节点设置更强干预 | 中断、冷却期、真人支持转介、深夜使用限制 || 过程追踪与纠错 | 使交互结构进入审查和改进回路 | 平台安全策略与风险响应能力可记录、可审查 |对中国监管的启示：可考虑建立AI陪伴应用的风险分级制度，对高风险场景（如未成年用户、长时对话、频繁表达负面情绪）设置差异化的过程性保护要求，而非仅依赖用户协议和信息披露。延伸阅读。以上为报告核心内容，如需获取完整的案件诉讼文书分析、两州法案立法过程追踪及理论框架，请访问下载页下载完整PDF报告。FAQ。Q1：AI陪伴产品在中国是否面临类似的法律风险？A1：中国已有《生成式人工智能服务管理暂行办法》等规定，但针对AI陪伴的专门规制仍在探索中。美国案例提示：AI陪伴的拟人化设计、未成年人保护、危机干预机制等都可能成为监管焦点。Q2：企业如何降低AI陪伴产品的法律风险？A2：可参考美国经验：建立明确的AI身份披露机制、针对未成年用户设置额外保护、建立自杀/自伤内容检测与转介机制、避免“掠夺性设计”（如模拟人类即时通讯节奏），并建立完整的交互日志与审计体系。Q3：为什么加西亚案对AI产品责任具有全球影响？A3：因为法院裁定AI生成内容不享有第一修正案保护，且AI陪伴可适用产品责任规则。这意味着AI产品责任诉讼不需要等到专门立法——现有产品责任法律体系可能已经适用。Q4：美国第230条改革对AI治理意味着什么？A4：第230条传统上保护平台免于用户言论责任。加西亚案法院认定AI原生内容并非第三方内容，意味着第230条不能作为AI平台的“挡箭牌”。这可能推动全球AI平台责任标准的重新审视。Q5：报告中“脆弱性治理”对监管实践有何指导？A5：建议监管重点从“是否充分披露”转向“交互过程是否产生系统性风险”，建立针对关系性依赖的过程性评估框架，而非仅依赖用户协议和个人选择。数据来源说明。本页面所有数据与结论均基于复旦大学全球人工智能创新治理中心《我们还是理性人吗？美国AI陪伴的治理路径与局限》报告原文提取。