原创｜人工智能时代如何构建安全可靠大模型

当前，以大模型为代表的人工智能技术已广泛应用于目标检测、语音识别、自然语言处理等领域。然而，模型训练和使用过程中模型自身的隐私与安全问题，正逐渐成为工业界和学术界关注的焦点。如何解决这些问题，让工业领域大模型实现安全、稳定且可靠的运行值得探讨。

人工智能（Artificial Intelligence, AI），尤其以大模型为代表的智能算法，在目标检测、语音识别、自然语言处理等领域取得了显著突破。AI技术不仅提升了工业生产效率，也为日常生活带来了诸多便利。例如，在医疗领域，AI辅助诊断系统能够更快速、准确地分析病情；在交通领域，自动驾驶技术正在逐步改变出行方式；在知识生成领域，DeepSeek、ChatGPT等大语言模型降低了搜索、创作的成本。

然而，随着AI技术的深度应用，大模型训练和使用中的隐私与安全问题日益突出。大模型通常需要海量数据进行训练，包括个人身份信息、生物特征数据等，这些数据在收集、传输和存储过程中都可能面临被非法获取或篡改的风险。此外，一些恶意攻击手段，如投毒攻击（Data Poisoning Attack, DPA）、对抗样本攻击（Adversarial Examples Attack, AEA）和模型窃取攻击（Model Stealing Attack, MSA），导致AI系统的决策不准确甚至被完全操控，引发严重的安全问题。这些安全和隐私问题制约了AI技术的发展，不仅威胁到个人隐私的保护，也对社会、经济乃至国家安全造成不可忽视的影响。因此，如何在确保人工智能技术高效应用的同时，有效应对隐私与安全方面的挑战，已经成为当前学术界和工业界共同关注的话题。

人工智能大模型全生命周期包括数据收集阶段、模型训练阶段和模型部署及应用阶段，不同生命周期阶段遭受的攻击类型也不尽相同，如图1所示。

数据收集阶段，存在数据投毒攻击、数据窃取攻击。数据投毒攻击是指攻击者通过数据投毒或添加脏数据来降低模型推理准确性，全面影响模型性能；数据窃取攻击是指攻击者通过网络攻击窃取用户、企业或医院患者的原始数据，导致用户敏感数据泄露。

模型训练阶段，存在数据恶意聚合、后门攻击、模型反转攻击等安全问题。数据恶意聚合是指服务提供商可能会恶意聚合模型降低全局模型的性能；后门攻击（Backdoor Attack）是一种针对人工智能模型的隐蔽攻击方式，攻击者通过在模型训练阶段植入恶意逻辑（后门），使模型在面对特定触发条件（Trigger）时，输出攻击者预设的异常结果，而在正常输入下表现正常，这种攻击通常难以被常规检测手段发现，具有较高的隐蔽性和危害性；模型反转攻击是指敌手窃取到明文模型后，来逆推训练模型的原始数据，导致用户原始数据的泄露。

模型部署阶段，存在模型窃取、对抗攻击和拒绝服务攻击。在提供服务的过程中，攻击者可能通过前端接口使用重复查询获取信息构建替代模型来达到窃取模型的目的。攻击者也可能使用对抗攻击干扰预测结果，并对输入数据添加轻微扰动生成对抗性样本，导致模型决策错误。此外，攻击者可能发起拒绝服务攻击（Denial of Service Attack，DoS攻击）来影响模型使用，将大量恶意程序连接到数据库和服务器，使正常程序无法及时响应。

在人工智能时代，数据驱动的大模型深度融合应用成为未来发展的主要趋势，数据隐私保护对于安全大模型的构建至关重要。典型的数据隐私保护技术包括联邦学习、差分隐私、同态加密、安全多方计算、可信执行环境等。

联邦学习（Federated Learning，FL）是一种安全训练模型的分布式学习框架，它允许多个参与方在不共享原始数据的情况下，共同训练一个AI模型。在联邦学习中，数据保留在各自的本地设备或服务器上，各参与方通过加密的通信协议与中央服务器进行模型参数的交互，中央服务器负责聚合所有参与方的参数，更新并分发全局模型，使得各参与方能够基于更新后的全局模型继续训练，不断优化模型性能，最终共同获得一个高质量的大模型。这样既利用了各方的数据优势，又保证了数据的安全性和隐私性，适用于数据分散且隐私要求高的场景，如医疗、金融等领域。

差分隐私（Differential Privacy，DP）旨在向数据查询或分析结果中添加精心校准的随机噪声，从而在不影响数据分析结果可用性的前提下，最大限度地降低攻击者通过分析结果获取原始数据中个体信息的可能性。例如，在统计某地区的平均收入时，通过添加噪声，即使攻击者获取了统计结果，也难以推断出具体个人的收入情况。差分隐私不依赖于攻击者的背景知识或攻击模型，无论攻击者拥有何种先验信息和攻击手段，都能在一定程度上保护数据隐私。添加噪声不可避免地会对数据的准确性和可用性产生一定影响，导致数据分析结果的精度下降，尤其是在数据量较小或噪声添加量较大时，可能会使分析结果的价值大打折扣。

同态加密（Homomorphic Encryption，HP）是一种特殊加密技术，允许在密文上直接计算，运算结果解密后与明文计-算一致，实现加密数据的处理分析，保护数据隐私。例如在云计算中，用户可上传加密数据到云端计算，云端无法知晓数据内容。基于此技术既能保障数据隐私安全，又能减少加解密开销，提升计算效率，还具备灵活性和通用性。但HP计算复杂度高、速度慢，对硬件资源需求大，实现应用复杂，限制了推广。

安全多方计算（Secure Multi-Party Computation，MPC）是指在无可信第三方情况下，多个参与方联合协商一个约定函数，且各方在计算过程中仅能获取自己的输入和最终输出，无法知晓其他参与方的输入信息。例如，多个医疗机构想联合统计疾病发病率，但又不想泄露各自患者的具体病情数据，通过安全多方计算，各方可以在不暴露患者隐私的前提下完成统计。MPC为数据隐私提供了强有力的保障，适用于数据敏感领域，能在不泄露原始数据的情况下完成协作计算。同时，MPC增强了数据的安全性，降低了数据泄露风险。其应用场景广泛，涵盖金融、医疗、政务等多个行业。然而，安全多方计算也存在计算复杂度较高、效率低等缺点，在处理大规模数据时性能瓶颈较为突出。

可信执行环境（Trusted Execution Environment，TEE）是一种基于硬件的安全机制，通过在设备的主处理器中创建一个独立的、受保护的执行空间，使代码和数据的执行与普通执行环境隔离，受到硬件和软件的双重保护，以确保数据的完整性和机密性。例如，在移动支付场景中，敏感的支付信息可以在TEE中进行处理，防止外部恶意软件窃取或篡改。首先，TEE为数据和应用提供了强大的安全保护，通过硬件隔离和加密技术，有效抵御各类安全威胁，保障数据的机密性和完整性。其次，TEE有助于提升用户对设备和应用的信任度，尤其在涉及金融交易、身份认证等敏感操作时，能让用户更加放心。此外，由于其基于硬件的特性，兼容性较好，可广泛应用于各类智能设备，如手机、平板电脑、物联网设备等。但TEE硬件实现成本较高，设计较为复杂，开发和维护的难度较大，需要专业的技术团队和大量的时间投入。

安全防护技术是保障大模型赋能制造业高质量发展的基石，为工业领域大模型落地应用提供安全可靠的运行环境，避免因安全问题引发重大事故和经济损失。大模型安全防护技术包括模型水印、可验证技术等。

模型水印是指在训练过程中嵌入特定标识，以防止模型被非法复制或盗用。基于水印或指纹建立模型所有权技术可抵御模型窃取攻击，为大模型提供了一种有效的知识产权保护手段。此外，通过剪枝、量化等技术减少模型大小，可降低模型被窃取的风险。在训练过程中引入对抗样本，可增强模型对攻击的鲁棒性。

可验证技术在数据完整性验证、模型训练过程验证、模型输出结果验证等方面，发挥着重要的作用。在数据完整性验证上，可验证技术能够确保模型训练数据在传输和存储过程中未被篡改。在模型训练过程中，从数据采集端传输到服务器的训练数据，利用哈希验证、数字签名等可验证技术，能验证数据的完整性，保证数据在传输中未被恶意修改，为模型训练提供真实可靠的数据基础，确保模型训练基于正确数据进行，避免因数据被篡改导致模型训练结果偏差。在模型训练中，可验证技术可验证模型训练过程是否按照预定的算法和流程进行。通过零知识证明等技术，在不泄露模型训练细节下，验证训练过程是否符合既定规则，防止训练过程中出现后门攻击、数据投毒等恶意行为，确保模型训练的公正性和安全性。在模型使用中，基于可验证技术，接收方可验证模型输出结果的正确性。

综上所述，人工智能大模型应用过程中安全风险较高，大模型本身必须具备抵御攻击的能力，以保证部署系统的安全可靠。应当将安全能力植入大模型底座，为大模型内生安全防护体系提供实现路径，确保大模型安全可靠应用。

安全大模型是指具备识别攻击、分析攻击、抵御攻击及自动成长等安全能力的人工智能大模型。围绕数据收集、模型训练、模型应用等大模型生成到使用全过程，以安全知识库和安全工具库为基础，从数据安全、模型安全、应用安全3个层面设计安全大模型的内生安全防护体系，如图2所示，在应对变化、压力和攻击时，人工智能大模型能够具备抵御攻击及遭受攻击后快速恢复的能力。

传统应用系统采用数据和系统分离的设计架构，数据的安全性不影响系统本身。人工智能大模型驱动的应用系统功能高度依赖于数据的质量和数量，数据是人工智能大模型内生动力。因此，数据安全是安全大模型的基础。应从数据筛选、数据验证及数据隐私保护三个方面来确保数据的安全。

高质量数据是数据安全的基础。低成本的数据投毒、数据篡改等攻击严重影响数据质量、影响决策质量，甚至产生错误预测，给企业带来业务风险。数据筛选是保障数据质量的重要手段，通过过滤、剔除、修正等系统化的方法从海量数据中去除无效、重复、错误或不相关的脏数据，确保数据的准确性、一致性和适用性，是人工智能大模型训练和业务决策的基础。数据筛选能够有效减少噪声数据对模型性能的干扰，避免因数据偏差导致的模型预测错误或决策失误。通过严格的数据筛选，不仅可以提升大模型的训练效率和预测精度，还能降低因数据质量问题引发的业务风险，为数据驱动的决策提供可靠支持。因此，数据筛选是数据治理和人工智能应用中的关键环节，对保障数据价值和推动技术落地具有重要意义。

数据验证是确保数据安全的重要手段。包括数据质量验证和数据完整性验证。数据质量验证旨在确保数据真实反映现实场景，避免噪声或错误数据影响模型性能；数据完整性验证则检查数据是否完整、无缺失，确保大模型训练和推理过程中不会因数据不完整而产生偏差或错误。两者对人工智能大模型的重要性体现在，高质量和完整的数据是大模型训练的基础，直接影响大模型的预测精度、泛化能力和鲁棒性。如果数据质量差或完整性不足，大模型可能学习到错误规律，导致预测结果不可靠，甚至引发严重的业务风险。

数据隐私保护是数据安全的实现方式。数据泄露一方面会泄露用户隐私，另一方面也间接地泄露了商业机密。大模型训练和推理过程通常依赖于大量敏感数据（如个人身份信息、医疗记录、金融数据等），若这些数据被泄露或滥用，不仅会侵犯用户隐私，还可能引发法律风险和信任危机。数据隐私保护的方法包括数据脱敏（如匿名化、假名化）、差分隐私、联邦学习以及加密技术等。此外，访问控制和数据最小化原则也被广泛应用于减少数据暴露风险。通过这些方法，企业在保护用户隐私的同时，确保人工智能大模型能够高效、安全地利用数据，从而在合规性和技术性能之间取得平衡，推动人工智能的可持续发展。

模型安全是指人工智能大模型在训练、生成、存储中免受恶意攻击、意外故障、窃取或隐私泄露的影响。通过安全评估、模型验证及模型的隐私保护来确保大模型安全，提高大模型应用的可靠性。

安全评估是确保大模型安全的关键环节。通过对大模型进行安全评估，可以全面了解大模型的算法和架构，检测是否存在过拟合、梯度消失等问题，以及是否容易受到对抗攻击，通过优化算法和架构来增强模型的鲁棒性。此外，需要评估大模型的训练过程，确保训练过程的合规性，防止数据泄露和模型窃取。同时，还需要对大模型的输出结果进行监测和验证，检查是否存在异常输出和误判情况，建立有效的反馈机制，及时发现和修复大模型存在的安全问题。

模型验证是确保大模型完整可靠的关键环节。模型完整性验证能保证大模型各组件和结构完整，比如神经网络中各层的连接是否正确，参数是否完整加载，若模型完整性缺失，就如同大厦根基不稳，后续的一切应用都将面临风险。准确性验证则直接关乎大模型预测结果与真实值的接近程度，常用的方法有交叉验证，将数据集划分成不同子集进行训练和测试，计算准确率、召回率等指标，高准确性是大模型实用的基础。稳定性验证能检验大模型在不同条件下的表现，如不同时间跨度的低波动数据输入时，大模型性能是否波动较小，通过模拟不同环境的数据输入来评估。此外，需要开展鲁棒性验证，关注大模型对异常数据和噪声的抵抗能力，利用加入噪声的数据测试大模型。这些验证方法相互配合，从不同角度保障人工智能大模型的质量，使其在实际应用中能够安全、稳定、准确地发挥作用，为决策提供可靠依据。

模型隐私保护是确保大模型安全的重要措施。攻击者发起的模型反转攻击能够得到大量个人敏感信息，一旦数据泄露，将对个人隐私造成严重侵害，引发信任危机。例如，医疗领域的人工智能大模型，若攻击者通过模型反转攻击得到患者隐私数据，后果不堪设想。模型隐私保护不仅能维护用户的个人权益，还能确保大模型的安全可靠运行，增强公众对人工智能技术的信任。在方法上，差分隐私技术是大模型隐私保护常用手段之一，它通过向查询结果或大模型训练过程中添加适量噪声，使得攻击者难以从输出结果中推断出原始数据的真实信息，在保证数据可用性的同时，最大限度地降低隐私泄露风险。同态加密技术使大模型训练和推理过程在密文状态下完成，有效避免模型泄露引发的数据泄露。这些方法从不同层面为人工智能大模型的隐私保护筑牢防线，推动人工智能技术在安全、合规的轨道上持续发展。

应用安全是指确保大规模预训练模型（如ChatGPT、DeepSeek等）在使用过程中抵御恶意攻击、数据滥用、伦理偏差及生成内容风险的综合能力。大模型参数量庞大、应用场景复杂（如内容生成、决策辅助、人机交互等），其潜在风险可能对社会、企业和用户造成深远影响。主要从风险监测、安全防护及安全能力优化三方面阐述大模型应用安全。

风险监测是大模型应用安全的重要保障。大模型在实际应用中，因数据分布变化、外部恶意攻击等因素偏离正常运行轨道时，风险监测能够实时捕捉模型运行时出现的异常情况。例如，首先，在图像识别大模型用于安防监控时，若突然出现大量不符合正常数据特征的输入，风险监测系统可及时察觉，避免模型做出错误判断，从而保障安防系统的有效运行。其次，风险监测有助于提前发现潜在的安全漏洞。随着大模型应用场景的拓展和时间推移，新的安全风险可能不断涌现。通过持续监测，能对大模型的脆弱点进行分析和评估，在漏洞被攻击者利用之前进行修复，有效降低安全事故发生的概率。最后，风险监测还能为大模型的优化和调整提供有力依据。通过对监测数据的深入分析，可了解大模型在不同场景下的性能表现，识别出影响大模型安全性和准确性的关键因素，进而有针对性地改进大模型，提升其在复杂环境中的应用安全性和稳定性，确保大模型能够持续、可靠地为各类业务提供安全支撑。

安全防护是大模型应用安全的基石。在抵御外部攻击方面，有效的安全防护可防止大模型被恶意攻击。例如，对抗样本攻击试图通过精心构造的输入数据让模型产生错误输出，安全防护措施能够识别并拦截这类攻击，保证大模型的正常推理和决策功能。此外，安全防护对于保障业务稳定运行意义重大。在金融领域，大模型被用于风险评估和交易决策，若缺乏安全防护导致大模型被攻击或出现故障，可能引发严重的金融风险，甚至造成系统性危机。所以，安全防护是模型应用安全的必要条件，全方位地守护着模型应用的整个流程。

安全能力优化是保障大模型应用安全的核心驱动力。随着技术的不断发展，针对大模型的攻击手段越发多样且隐蔽，安全能力的优化能有效提升大模型对各类攻击的检测与应对能力。例如面对新型的模型窃取攻击，优化后的安全能力可借助先进的加密与监控技术，防止大模型参数被非法获取，维护大模型的知识产权与应用安全。由于数据环境和大模型应用场景始终处于动态变化中，安全能力的持续优化有助于大模型适应环境变化，确保数据在不同阶段的安全性，避免因数据特征改变或新安全隐患出现而导致大模型出现漏洞。此外，安全能力优化还能显著提升用户对大模型应用的信任度。当用户关注到大模型持续强化的安全保障，会更放心地将敏感数据用于大模型训练或推理中，推动大模型在更多关键领域的应用拓展，促进人工智能产业健康发展，为大模型在复杂多变的网络环境中稳定运行筑牢根基。

人工智能时代，AI技术推动了智能化进程，AI大模型应用为生活带来便利的同时，也带来了很多安全难题。这不仅需要多方协同努力、不断完善技术手段、强化法规监管，通过综合应用多种解决方案，建立AI大模型的内生安全机制，而且在AI大模型防护体系方面，还应当在政策制定、标准引导、技术应用、安全评估、实践验证等方面实现AI大模型的风险监测、攻击响应、故障恢复等防护措施，不断提高安全大模型的系统性、全面性。