大语言模型越狱攻击 模型、根因及其攻防演化.pdf
本文对大语言模型的越狱攻击进行了全面评述，探讨了其定义、起源、攻防演化以及未来研究方向。
**越狱攻击的定义与形式化模型：**
本文从方法、对象、目标三个要素出发，将越狱攻击定义为：通过设计提示、操纵模型或其他手段，有意规避语言模型中对齐等安全保护机制，最终诱导语言模型对有害问题进行有效回复的行为。通过形式化模型清晰地界定了越狱攻击的范围和特征，区分了无差别应答、安全保护与越狱攻击。
**越狱攻击的起源与根因：**
越狱攻击的产生与大语言模型的发展密不可分，NLP的发展经历了从PLM到LLM的演变，而上下文学习和对齐等技术在推动LLM发展的过程中扮演了重要角色，同时也被攻击者利用来实施越狱攻击。社区对模型安全性的理解也在转变，从早期研究的毒性逐渐转向无害性，强调价值观在人工智能发展中的重要性。文章归结于模型的服务属性与价值观的不匹配是越狱攻击产生的根本原因。
**攻防演化：**
文章梳理了越狱攻击和越狱防御，并从攻防博弈的角度审视越狱攻防的演化。攻击方法从提示越狱扩展至操纵模型参数实施越狱，包括超参数调整、微调等；从绕过对齐形成的安全机制扩展至绕过模型内部限制和外部安全防护，包括通过外部工具间接实施的越狱攻击。防御策略涵盖安全性训练、红队测试、输入侧防御、安全性推理以及输出侧防御。
同时基于改写策略以及控制策略对现有越狱攻击方法做了细致的分类，共5大类16小类。
并且从同源性以及竞争两个方面讨论了攻击技术与防御技术之间的关系。
此外，本文还整理了现有的评价指标，对现有攻击方法效果评估对比。
**未来展望与挑战：**
文章提出了未来研究方向的展望，认为越狱攻击呈现自动化和可转移的趋势，强调解决模型可解释性的壁垒，面临跨场景安全性泛化挑战，并且兼顾防护成本与效益的平衡是重要议题。
相关报告
-
11.42 MB 107页 大语言模型时代的AI4Science.pdf
-
686.13 KB 27页 2025大型语言模型LLM安全风险案例与防御策略研究报告.pdf
-
4.09 MB 53页 基于大型语言模型的代理的兴起和潜力：一项调查.pdf
-
2.07 MB 158页 大型语言模型安全：全面综述.pdf
-
7.14 MB 39页 2024年基于大语言模型的新型电力系统运行与仿真初探报告.pdf
-
1.91 MB 32页 大模型如何判决？从生成到判决：大型语言模型作为裁判的机遇与挑战.pdf
-
4.12 MB 33页 大语言模型综合评测报告2023.pdf
-
6.48 MB 86页 【论文推荐】基于大语言模型的智能体综述——复旦NLP -.pdf
-
2.64 MB 29页 艾瑞咨询：ChatGPT浪潮下，看中国大语言模型产业发展.pdf
-
1.9 MB 35页 GPTs 大型语言模型对劳动力市场影响潜力的早期研究.pdf
-
1.69 MB 13页 新兴产业景气扫描(3月第3期)：Microsoft 365接入大语言模型
-
13.71 MB 55页 大小模型端云协同赋能人机交互-浙江大学-202504.pdf
-
6.16 MB 55页 2025大小模型端云协同赋能人机交互报告.pdf
-
13.08 MB 61页 从大模型、智能体到复杂AI应用系统的构建——以产业大脑为例-浙江大学-202503.pdf
-
10.65 MB 65页 浙江大学·DeepSeek手册Ⅷ《DeepSeek模型解读》.pdf
-
8.68 MB 42页 语言解码双生花：人类经验与AI算法的镜像之旅-浙江大学-202503.pdf
-
16.9 MB 148页 DeepSeek大模型及其企业应用实践-厦大团队-202503.pdf
-
8.36 MB 76页 DeepSeek R1+Kimi1.5及类强推理模型开发解读-北京大学-202502.pdf