智能体的自主行动能力正在突破现有治理框架的边界——数据治理规则无法覆盖长期动态处理,算法备案难以回应能力持续变化,平台责任在多主体参与中失衡。北京大学人工智能研究院与中国电子技术标准化研究院的报告构建了一套完整的AI治理框架:以人为本为原则、风险分级为方法、全生命周期治理为路径、工具调用控制为关键、多智能体协同为补充、责任配置为保障。
以人为本的伦理治理原则
确立以人为本的智能体伦理治理原则,包括五大核心原则。人类主导原则——智能体无论具备多高的自主性,本质上都是人类创造的工具,目的是辅助人类完成任务而非取代人类。公平公正原则——智能体在研发和应用阶段不得基于种族、性别、年龄、宗教、国籍、残疾等因素进行歧视。尊重人格尊严原则——不得侵犯人类的人格尊严,不得损害人类的身心健康和情感福祉。可控可信原则——智能体系统应当是安全、可靠、可控和可解释的,行为应当是可预测和可追溯的。可持续发展原则——兼顾经济、社会和环境效益,促进人与自然和谐共生。
风险分级的治理结构
根据应用场景、自主程度和行为后果将智能体划分为四个风险等级。不可接受风险智能体——用于制造大规模杀伤性武器的智能体,建立严格的禁止制度。高风险智能体——在医疗健康领域用于疾病诊断、治疗方案制定、手术辅助的智能体,建立事前审查、事中监管、事后追责的监管体系。中风险智能体——用于客户服务、市场营销、办公辅助、智能家居、智能穿戴的智能体,以行业自律和企业自我规制为主。低风险智能体——用于简单信息查询、日程管理、计算器、游戏娱乐的智能体,鼓励企业制定行业标准和自律公约。
贯穿生命周期的治理机制
将伦理要求嵌入设计、开发、部署、运行和退役每一个环节。设计阶段进行全面的伦理影响评估,识别可能存在的伦理风险。开发阶段建立伦理测试标准和方法,包括偏见测试、公平性测试、安全性测试、可解释性测试。部署阶段履行备案手续,向用户充分告知智能体的能力边界和潜在风险,取得明确同意。运行阶段持续监测风险,定期开展风险评估,建立人工干预机制。退役阶段建立智能体退役制度,安全删除数据,妥善处置相关数据及接口权限。
工具调用行为控制与多智能体协同治理
围绕工具调用建立三重机制。权限分级管理——根据工具的风险等级和智能体的应用场景对调用权限进行分级管理。流程管控——确保每一次工具调用都经过必要的审核和验证。审计追溯——审计日志记录调用时间、用户、工具名称、参数、执行结果、人工确认情况等信息,不可篡改,保存期限不少于三年。
建立面向多智能体系统的协同治理机制,从整体出发关注系统的整体行为和影响,确保决策过程和协作机制透明,所有行为可记录和追溯。基于多智能体系统的治理原则,防止智能体之间的冲突和集体决策黑箱化。
责任配置与实施机制
明确开发者、部署者、服务提供者、用户和监管者的责任边界。完善民事、行政、刑事三层责任承担方式,建立智能体损害赔偿基金制度。实施机制涵盖完善标准体系、建立伦理风险评估制度、强化运行过程合规管理、健全用户权益保护与救济机制、推动伦理治理与技术治理协同、构建多元协同治理格局。高风险智能体原则上由独立第三方机构评估,中低风险由企业内部审查。推动伦理治理与技术治理协同,将伦理要求嵌入系统设计实现Ethics by Design。