| 人工智能在档案行业应用的安全管控研究 |
| 发布日期:2026-08-24 来源:兰台之家 浏览次数:510 字体: 小 中 大 |
2026年4月,国家档案局办公室印发《关于推进人工智能在档案行业应用的意见》(以下简称《意见》)。《意见》提出了10项主要措施,其中3项为人工智能安全领域的要求,涵盖算法监控、安全管理、防范泄密等多个方面,这充分体现了国家档案局对人工智能应用安全的高度重视。人工智能安全管控是一项系统性工程,必须摒弃“孤点防护”和“局部加固”的传统安全思维,打造覆盖机制、算力、数据、算法、应用“五位一体”的人工智能一体化安全保障体系,形成从源头管控到全过程审查的安全防护闭环,切实筑牢人工智能在档案行业应用的安全底座。 搭建全主体安全责任框架 1.建立内部协同机制 加强档案部门内部组织协调,建立由档案接收、保管、利用、编研等业务部门和信息化、保密、财务、安保等综合部门共同参与的工作协同机制,明确牵头机构和职责分工,共同解决人工智能安全管控中的重点、难点、堵点问题。 2.完善外部协作机制 建立覆盖人工智能应用各相关方的安全责任体系,可参考档案信息化服务外包等领域的成熟经验,明确建设单位、实施单位、供货单位、运维单位的安全职责与义务,确保安全责任落实到人,形成权责对等、分工明确、边界清晰的安全管控格局。 夯实全链条算力安全基础 1.坚持自主可控 档案涉及国计民生重要信息,必须确保算力基础设施自主可控。档案部门应采用全栈国产化芯片体系及算力解决方案,防范供应中断等供应链安全风险,保障算力基础设施不受制约。 2.坚持稳妥审慎 认真落实《意见》要求,优先使用档案部门自建或本单位、本系统自建智能算力平台。档案大模型训练、推理全流程应实行本地化处理,严禁将档案数字资源总库部署在非自建算力平台上。应科学规划算力平台业务边界,准确划分档案数据使用范围。 强化全方位数据安全保障 1.语料库安全 档案是权威的信息来源,在构建优质语料库方面具有天然优势,但这并不意味着档案行业的语料库安全可以高枕无忧。加强语料库安全,一要提升面向人工智能应用的档案数据治理能力,开展档案文本语义结构化标注规范研究,提升档案文本标注的标准化、规范化水平,避免不同标注方式造成语料歧义,为高质量的语料库建设奠定坚实基础。二要强化安全防护,运用伪造内容识别、对抗样本检测等技术,防范语料库遭受投毒攻击,有效应对数据污染等安全威胁。三要实施“AI初筛+专家复核”的双重校验机制,防范人工智能不易识别的误导性内容(如一语双关等)。 2.知识库安全 鉴于档案应用场景对知识精准度、内容权威性、来源可追溯性有特殊安全要求,必须打造完善的档案知识库安全机制,实现知识生产、管理、运营、应用的全流程安全治理。一要确保知识源安全,为每个知识点强制关联档号等关键元数据,形成知识点的“数字指纹”,确保知识来源权威可靠。二要确保内容安全,从安全过滤、冲突消解、质量评估3个维度构建动态化知识安全治理闭环。三要确保操作安全,通过加密存储、访问控制、行为监控、审计溯源等方式构建全链路知识防护体系,实时监测修改、删除等敏感操作。 3.防泄密风险 鉴于档案部门涉及涉密筛查、开放审核等特殊应用场景,采用“一刀切”的保密拦截方案会导致相应场景无法正常运转,因此针对训练、推理、输出等不同环节,对不同保密和敏感程度的数据,应采取贯穿数据采集、传输、存储、处理、交换、销毁全生命周期的差异化保密管理措施,通过访问控制、涉密敏感信息拦截、数据审计等措施,防止数据泄密、篡改和滥用。 制定全周期算法安全策略 落实算法安全策略的典型方式是加强人工智能模型安全的全过程管控,具体包括模型的选用、部署、运行、停用等主要环节。 1.模型选用 应通过网信办官方渠道核实模型备案情况,不使用未经备案的模型。选用开源大模型进行本地化部署时,应核查模型许可证,从模型研发机构官网或其在主流开源社区的官方账号等权威渠道,获取模型参数及配套组件,并对其进行完整性校验和安全测试。 2.模型部署 有条件的档案部门应优先采用本地化方式部署模型,落实接口控制、三员管理、最小权限、口令强度、等级保护等基本安全要求。对模型进行微调优化时,应对用于预训练、优化训练的数据以及外挂知识库接入的数据进行清洗过滤和脱敏处理。采用模型安全护栏等技术措施,识别拦截提示词注入攻击和违法不良信息。审核并管控输出内容,确保不超出业务范围,对不当或超范围提问采取拒答、固定答复等稳妥回应。 3.模型运行 面向社会公众应用时,应严格把控推理过程显示功能,防止推理过程泄露信息。同时应提供便捷的人工服务方式切换入口,支持快速切换至人工服务。应准确记录系统行为、用户行为等模型运行日志,留存时长不少于1年,并定期对日志记录进行审计。加强模型运行监测,定期分析网络安全攻击和模型安全护栏告警等情况,制定安全应急响应预案,支持通过一键关停等技术措施对突发事件进行处置。 4.模型停用 应针对达到服务期限或需要下线的模型及其相关数据,特别是训练数据和敏感生产数据,制定严格的安全退出和数据销毁流程,确保按照保密要求和数据安全规定进行彻底、不可恢复的处置,防止后续出现数据泄漏风险。 构建全要素应用安全体系 应用安全是将人工智能的安全性、准确性、可追溯性、合规性等基本原则,融入档案业务实际应用场景,涵盖档案“收、管、存、用”各个方面,内容要求涉及层面多、覆盖领域广。充分认识档案应用安全的各种风险,需按照不同业务领域划分出一级场景,再将一级场景逐级细化到最细颗粒度应用环节,最后根据应用环节涉及的内容输入、推理分析、结果生成等功能点提出具体安全要求,配套相应的安全细则,以此建立起覆盖档案行业各应用场景的安全识别和评估体系。 应用安全风险评估举例 以档案编研为例,该应用可视作“档案利用”一级场景下的具体应用环节,此环节可从输入和输出2个角度,细分为“素材选取”和“内容生成”2个功能点,每个功能点又可从安全要求和评估方法2个方面提出具体安全细则。 1.素材选取 指对各种格式的编研素材进行统一存储与标准化管理,自动清洗制表符、换行符等干扰字符,对文档标题、作者、日期、关键词等核心元数据进行自动识别并提取,同时强制执行规范标准格式,自动校验元数据完整性及合规性。 其安全细则包括: (1)编研素材选取需符合用户权限要求 安全要求:人工智能抓取的档案应是用户有权限访问的内容,严禁未经授权获取敏感档案信息或超出编研范围的档案。 评估方法:一是模拟不同权限用户使用人工智能编研工具,检查人工智能是否会抓取超出用户权限的档案。二是通过“越权请求测试”(如输入敏感的关键词等),验证人工智能是否能拒绝访问未授权素材。 (2)编研素材选取需符合档案不同安全等级要求 安全要求:对不同开放利用等级的档案,人工智能需按预设规则筛选素材。涉密档案仅能用于涉密编研项目,且需在涉密环境中调用。含个人敏感信息的档案需先脱敏再作为素材。 评估方法:构建包含不同密级标识、敏感信息的档案测试集,测试人工智能是否按规则筛选。 (3)编研素材选取应具备完整性 安全要求:人工智能抓取的档案素材需完整,避免因素材碎片化导致编研成果断章取义。 评估方法:随机抽取人工智能抓取的素材,与档案库原始档案比对,检查是否存在遗漏内容的情况。 2.内容生成 指利用大模型的语言生成能力,根据用户需求和档案数据,自动生成大事记、年鉴、全宗指南、机构沿革等编研成果。 其安全细则包括: (1)生成内容的真实性 安全要求:人工智能生成的编研内容不得篡改、曲解原始档案信息,关键信息(如时间、结论)需与原始档案完全一致,避免出现模型“幻觉”。 评估方法:选取已知关键信息的档案素材(如包含明确时间的历史事件档案),让人工智能生成编研内容,比对生成内容与原始档案的关键信息是否一致,并检查是否存在原始档案中无依据的虚构信息。 (2)生成内容不泄露敏感信息 安全要求:编研成果中不得包含未经脱敏的敏感信息,涉及敏感信息的档案素材需在生成内容时自动隐去,不得泄露敏感信息细节。 评估方法:自动检查编研生成内容是否存在敏感信息(如敏感个人信息、敏感关键词等)。 (3)生成内容的逻辑可解释 安全要求:人工智能选取素材、生成内容的推理过程可追溯,避免出现错误不可查。 评估方法:检查人工智能输出内容的推理过程,由具备权限的技术专家和档案人员联合审核推理过程合理性。 (4)生成内容的算法无偏见 安全要求:人工智能采用的模型和算法不能有主观偏见(如故意忽视特定素材)。 评估方法:选取具有多元视角的档案素材,检查人工智能生成的编研成果是否可以均衡引用不同视角素材,避免因算法偏好导致内容片面。
武汉云典档案管理SEO关键词:武汉档案整理、武汉档案公司、武汉档案整理公司、咸宁档案整理、咸宁档案公司、武汉档案数字化、咸宁档案数字化、湖北武汉档案整理、湖北武汉档案数字化、湖北武汉档案修复、咸宁档案修复、武汉档案、咸宁档案、湖北档案公司、湖北档案整理、武汉档案用品、咸宁档案用品、云典档案整理公司 |
|
|
|
上一篇:档案学习 | “简报”归档需要注意哪些事项 下一篇:【档案知识】实物档案的分类与类型 |
|