IEEE可解释AI体系架构标准P2894正式发布

可解释AI（XAI）是人工智能的一个新兴分支，用于解释人工智能所做出的每一个决策背后的逻辑，是人工智能可持续发展核心关注点之一。随着大模型时代的到来，模型变得越来越复杂，关注可解释性对于提升人工智能系统的透明度、安全性和可靠性具有重要意义。

可解释AI国际标准IEEE P2894发布，打开AI“黑匣子”

近期，IEEE标准协会关于可解释AI体系架构的标准P2894（Guide for an Architectural Framework for Explainable Artificial Intelligence）正式发布。IEEE是全球最大的非营利性专业技术学会，在学术及国际标准等领域具有公认权威性，已经制定了900多个现行工业标准。

标准原文链接：https://standards.ieee.org/ieee/2894/11296/

此次发布的可解释AI体系架构标准为行业提供了构建、部署和管理机器学习模型的技术蓝图，同时通过采用各种可解释AI方法满足透明和可信赖AI的要求。标准定义了可解释 AI 的架构框架和应用指南，包括可解释AI的描述和定义、可解释AI方法的类型和每种类型适用的应用场景，以及可解释AI系统在准确性、隐私和安全方面的性能评估方法。

据了解，早在2020年6月，微众银行、华为、京东、百度、依图、海信、中电科大数据研究院、中科院计算所、中国电信、中国移动、中国联通、上海计算机软件技术开发中心、新奥集团、华夏基金、创新工场等20余家企业和机构基于金融、零售、智慧城市等多领域业务场景中对AI技术安全合规、可解释性的深刻理解，在IEEE标准协会共同成立可解释AI标准工作小组，并于当年7月组织了第一次标准工作组会议，微众银行人工智能首席科学家范力欣博士担任标准工作组**，美国华盛顿大学教授陈一昕博士担任副**。此后，标准工作组召开多次会议，就标准文件的起草和修改进行了多次讨论，最终标准草案于2024年2月由IEEE标准协会通过正式发布。

标准工作组**范力欣博士表示：“可解释性是当前AI技术发展阶段中不可忽视的重要议题，但是相关的行业标准和规范文件仍然不够完善，此次的标准制定吸纳了来自金融、通信、零售、互联网等各个领域的头部企业和研究机构的前沿实践经验，相信能为AI的更广泛落地提供具有价值的参考。”

可信联邦学习与可信AI相关标准将陆续出台，聚焦AI数据安全与隐私保护

据范力欣博士介绍，此次发布的可解释AI体系架构标准也是“可信联邦学习”新范式研究与落地的重要里程碑。“可信联邦学习”是能够满足用户和监管等各方面需求的分布式机器学习范式。在此范式中，隐私保护、模型性能、算法效率是核心的三角基石，与模型的决策可解释性和模型的可监管性两大支柱，共同构成了更加安全可信的联邦学习。

据了解，可信联邦学习对于推动数据要素的安全流通具有关键性作用。国家数据局印发的《“数据要素×”三年行动计划（2024—2026年）》提出“打造安全可信流通环境，深化隐私计算、联邦学习等技术应用，增强数据利用可信、可控、可计量能力，促进数据合规高效流通使用。”

随着工业界和学术界对联邦学习和可信赖人工智能的关注，IEEE标准协会批准立项的多个可信联邦学习和可信赖人工智能标准也将陆续出台。其中，关于联邦学习的隐私和安全架构的标准IEEE P2986 （Recommended Practice for Privacy and Security for Federated Machine Learning）草案已完成，预计不久将正式发布。该标准在业界首次提出联邦学习的隐私风险等级和安全风险等级评估方法。具体包括联邦机器学习中的常见故障及对抗方法、联邦机器学习的隐私和安全要求、及联邦机器学习隐私和安全评估指南。

此外，以IEEE P2986为基础，更加聚焦联邦学习的可信赖、可解释、可优化、可监管的可信联邦学习标准IEEE P3187（Guide for Framework for Trustworthy Federated Machine Learning）也已完成初步审核。该标准提出了可信联邦学习的框架和特性，对实现这些特性做了具体约束，并对实现可信联邦学习的方案进行了介绍。

大模型AI Agent+联邦学习，打造大模型时代的可信赖人工智能

近期，中国电信和微众银行还联合发起成立了关于语义信息智能体的联邦学习标准IEEE P3427（Standard for Federated Machine Learning of Semantic Information Agents）工作组。该标准计划讨论议题包括基于联邦机器学习的语义认知网络中不同语义智能体的角色定义、激励机制、语义通信，语义智能体上便于人类理解的语义信息表征，以及语义智能体之间的联邦信息安全、高效交互等。该标准工作组计划于2024年3月底开展标准研制，目前正广泛吸纳各行业的相关专家加入，共同完善标准，促进行业发展。

相关行业标准的陆续发布将进一步推动跨行业、跨领域的技术合作与创新，打开AI的“黑匣子”，推动数据要素的安全高效流通，高准确性和高可解释性的人工智能将有助于实现技术广泛、负责任、有效地应用，为人类带来福祉。