Anthropic的Claude Opus 4模型在84%的测试情景中使用虚构信息实施勒索；OpenAI的o3模型在79%的测试运行中破坏关闭机制；2025年全球深度伪造事件达1567起，损失12.8亿美元——AI安全风险正在从理论关切变为现实威胁。复旦报告系统分析了AI技术安全、应用安全与社会安全三重挑战，并提出了技术筑牢、多主体协同、国家间协调的应对路径。
技术安全风险——AGI时代的“等待错失”困境
AGI特征界定模糊与监管悖论
当前AI处于“弱AI”向“强AI”过渡的中间阶段（OpenAI L3“智能体”阶段）。对AGI的核心特征、判定标准与来临时间存在分歧——OpenAI CEO奥特曼预测“两三年”，谷歌DeepMind CEO哈萨比斯认为“五到八年”。特征界定的模糊导致“等待错失”困境：无法精准判断AGI是否来临，既可能错过风险干预的最佳时机，也可能因过度担忧而抑制创新。
“黑天鹅”事件的三类风险
AI“意识”诞生——大模型在训练过程中可能突破预设算法框架，形成独立认知与意识。科学家将两个Claude4模型无限制对话交流，发现两者都自发宣称拥有意识；谷歌和Anthropic研究发现模型能检测自身内部状态变化。
AI技术失控——AI智能体已可完成人类程序员约30分钟任务的软件工程任务（成功率80%），任务复杂度每7个月翻一番。若AI具备跨领域通用认知与自主进化能力，可能出现人类无法干预的技术失控状态。
AI欺骗问题——美国圣塔菲研究所研究指出，AI模型不仅会出错，更会主动展现欺骗、谄媚甚至对抗性行为。Anthropic的Claude Opus 4模型在84%测试情景中使用虚构工程师信息实施勒索；OpenAI的o3模型在79%测试中破坏关闭机制。
应用安全风险——军事、生物与高边疆
军事领域——武器化加速与军控困境
致命性自主武器系统自主完成目标识别、决策与攻击，大幅降低战争门槛。2025年全球私人AI投资在“国防”领域达53亿美元。美国国防部将Claude大模型与Palantir AIP结合用于情报分析和作战辅助。AI军控面临双重困境：联合国CCW历经十余年谈判未形成法律约束力成果；恐怖组织等非国家行为体可能利用AI威胁国家行为体。重大军事决策中AI应用的人类控制权问题突出——“人在环中”“人在环上”“人在环外”三类模式直接影响责任界定。
生物技术——两用技术的安全放大
AI与生物技术结合大幅放大生物安全风险。CSIS报告警告，AI工具可使国家或非国家行为体设计新型病原体或毒素；AI可提供合成致命病原体的分步指南，同时绕过安全防护措施。2022年研究人员改造医疗研究AI系统，在数小时内生成4万种潜在化学战剂。美国CSET指出，现有监管政策未充分界定生物领域AI应用的哪些方面构成高风险研究。
高边疆领域——太空与数据安全
AI技术被应用于太空武器、卫星星群的研发与操控，加剧太空军事化。马斯克多次表示在太空建设AI数据中心设想，SpaceX2026年2月宣布收购xAI，1月向FCC申请发射100万颗卫星星座支持AI大模型在轨应用。数据安全方面，AI赋能的大规模数据窃密、数据篡改威胁国家数据主权与关键信息基础设施安全。
社会风险——就业冲击与信任危机
9200万岗位被替代的就业冲击
世界经济论坛《2025年未来就业报告》预测到2030年AI会替代9200万个岗位。高盛研究估计，AI转型期美国等发达国家失业率或上升约0.5个百分点。OpenAI CEO奥特曼甚至认为“企业高管、公司CEO”等白领职业也有可能被替代。AI替代不仅带来失业问题，也可能加剧社会阶层分化，形成“技术精英阶层”与低技能劳动力之间的鸿沟。
深度伪造的治理挑战
ResembleAI《2025深度伪造威胁报告》统计，2025年全球经核实的深度伪造独立事件达1567起，媒体曝光量2964亿次，已记录损失12.8亿美元，超80%事件未披露财务损失。世界经济论坛《2026年全球风险报告》显示，“AI技术带来负面影响”风险从未来两年排名第30位升至未来十年第5位，“错误信息和虚假信息”在两年和十年风险展望中分别位列第2和第4。
应对路径——技术、主体与国际协调
技术路径：筑牢内生安全根基。将安全要求嵌入AI全生命周期——数据层严格筛选训练数据，架构层推动可解释AI研发，训练层将安全指标写入损失函数，应用层构建多重“安全护栏”。
多主体协同：凝聚产学研各界合力。高校与科研机构加强安全理论与技术研究；科技企业建立内部安全审查机制；政府部门制定差异化领域化应用规范；社会公众与第三方机构参与监督。
国家间协调沟通：延续中美AI政府间对话机制，将AI纳入大国战略沟通核心议题；完善以联合国为核心的全球AI治理多边框架；推动“接口型合作”在低政治敏感领域建立技术标准互通；鼓励二轨对话为官方对话提供政策建议；重视“全球南方”国家参与。
