2024大模型安全研究报告-将引领安全工作模式的变革

当前，由 ChatGPT 引发的全球大模型技术竞赛正推动人工智能由专用弱智能向通用强智能迈进， 这不仅标志着智能水平的显著提升，也预示着人机交互方式和应用研发模式的重大变革。大模型在 各行各业的广泛应用，为第四次工业革命的爆发提供了蓬勃动力和创新潜力。

然而，随着大模型商业化应用和产业化落地加速，大模型技术局限和恶意使用不仅加剧了原有人工 智能安全风险，也引入了模型“幻觉”、指令注入攻击、网络攻击平民化等新型风险。面对这些挑 战，国际组织和世界主要国家正通过制定治理原则、完善法律法规、研制技术标准等方式，积极开 展大模型安全治理。同时，大模型在逻辑推理、任务编排等方面的卓越能力，为解决网络空间安全 瓶颈问题带来了新的机遇。

随着各类大模型与经济社会的深度融合，其技术局限和潜在恶意使用不仅威胁大模型系统自身的安全稳定运行， 也可能为使用大模型的各行各业带来非预期安全影响。

为尽可能全面应对大模型领域的基础共性安全挑战，本报告优先对语言、多模态等各类基础大模型系统的安全 风险进行系统梳理。与此同时，参考 ISO/IEC 5338-2023 《人工智能系统生命周期过程》国际标准，将基础大 模型系统抽象为训练数据、算法模型、系统平台和业务应用四个重要组成部分，并通过描绘这四个组成部分面 临的重要和一般安全风险，形成大模型安全风险地图，如图 1 所示。其中，重要风险是发生概率高和影响程度 大的风险，一般风险则反之。

短期来看，大模型将显著提升现有安全技术的性能和智能化水平。得益于大模型在数据理解、意图识别、任务 编排等方面的能力，在安全问答、安全运营、数据分类分级、违规处理个人信息检测、音视图文内容安全检测 等关键网络安全场景中，大模型能够在大幅减少人工参与的同时，有效提升安全事件处理的效率和准确性。

长期来看，大模型有潜力成为安全防护的核心，从而改变安全的工作模式。当前，大模型主要扮演安全从业人 员的辅助工具，用于提高他们的工作效率和效能。未来，随着大模型在自主研判和决策能力方面的提升，它们 预期将进化为安全从业人员的合作伙伴，共同应对安全风险的识别、防御、检测、响应和恢复等一系列复杂工作。 此外，大模型在数据安全、内容安全等领域也将发挥关键作用。大模型预计将引领安全工作模式的变革，从依赖安全人员调度和使用安全工具，转变为以大模型为核心调度并智能化使用安全工具。

附件：2024大模型安全研究报告-将引领安全工作模式的变革