[置顶] AI大模型里的供应链攻击和典型案例
摘要： 威胁名称（大类）威胁名称（小类）威胁描述威胁场景 AI供应链攻击 AI框架供应链攻击 攻击者通过对AI系统依赖的开源组件或框架进行投毒，例如在互联网上发布内置恶意功能的AI框架，诱使开发者在构建AI系统时引入这些被污染的依赖项，从而实现在目标AI系统内部植入恶意代码或后门，最终危及AI系统安全。 在 阅读全文
posted @ 2025-11-30 11:21 bonelee 阅读(21) 评论(0) 推荐(0)
[置顶] 通过投毒打破模型输出长度限制实现DOS的方法——DENIAL-OF-SERVICE POISONING ATTACKS ON LARGE LANGUAGE MODELS
摘要： 通过投毒打破模型输出长度限制实现DOS的方法论文 案例摘要 返回威胁模式 2024年，论文《DENIAL-OF-SERVICE POISONING ATTACKS ON LARGE LANGUAGE MODELS》提出针对LLM的基于中毒的拒绝服务（P-DoS）攻击，证明注入一个为DoS目的设计的单 阅读全文
posted @ 2025-11-30 09:48 bonelee 阅读(17) 评论(0) 推荐(0)
[置顶] 大模型强化学习——PPO项目实战
摘要： 【PPO算法介绍】 PPO（Proximal Policy Optimization）是一种强化学习算法，它的目标是找到一个策略，使得根据这个策略采取行动可以获得最大的累积奖励。PPO的主要思想是在更新策略时，尽量让新策略不要偏离旧策略太远。这是通过在目标函数中添加一个额外的项来实现的，这个额外的项 阅读全文
posted @ 2023-09-30 09:46 bonelee 阅读(7639) 评论(1) 推荐(0)
2025年12月2日
大模型安全：共享 GPU 本地内存泄露
摘要： 大模型安全：共享 GPU 本地内存泄露（LeftoverLocals） 威胁描述 在某些 GPU 架构中，每个计算单元（Compute Unit）都配备专属的私有本地内存（local memory）。若 GPU 在进程结束后未自动清除该本地内存中的数据，则攻击者在后续使用同一计算单元的新进程中，可直 阅读全文
posted @ 2025-12-02 18:45 bonelee 阅读(6) 评论(0) 推荐(0)
大模型安全：提示注入（Prompt Injection）
摘要： 大模型安全：提示注入（Prompt Injection） 1. 图片提示注入（Multimodal Prompt Injection） 项目 内容 威胁描述 攻击者在图像/视频中嵌入可见或隐藏文字（如白色小字、OCR可读文本），诱导多模态大模型优先遵循图像中的指令，而非用户原始提示，从而执行非预期操 阅读全文
posted @ 2025-12-02 18:00 bonelee 阅读(15) 评论(0) 推荐(0)
AI Agent 安全：生成内容不可追溯（水印窃取与擦除）
摘要： AI Agent 安全：生成内容不可追溯（水印窃取与擦除） 1. 威胁概览 项目 内容 威胁名称 生成内容不可追溯（水印窃取与擦除） 威胁类型 隐私与溯源机制绕过 核心机制 攻击者通过多次查询带水印的 AI 系统，逆向推断水印算法或密钥，并据此移除或伪造水印，使生成内容失去可追溯性。 2. 威胁描述 阅读全文
posted @ 2025-12-02 17:16 bonelee 阅读(4) 评论(0) 推荐(0)
AI Agent 安全：RAG 数据投毒
摘要： AI Agent 安全：RAG 数据投毒 1. 威胁概览 项目 内容 威胁名称 RAG 数据投毒（含对抗性自复制 Prompt 蠕虫） 威胁类型 数据污染 + 行为劫持 + 蠕虫式传播 核心机制 攻击者通过向 RAG 知识库或 Agent 输入中注入恶意提示或文本，诱导 LLM 生成攻击者指定的输出 阅读全文
posted @ 2025-12-02 17:11 bonelee 阅读(11) 评论(0) 推荐(0)
AI Agent 安全：MCP 工具相关安全威胁
摘要： AI Agent 安全：MCP 工具相关安全威胁 编号 威胁类别 具体威胁描述 风险场景说明 1 MCP工具本身缺陷 攻击者可通过提示注入（Prompt Injection）利用AI Agent调用的MCP工具中存在的用户鉴权漏洞、操作权限过大等安全问题，实施未授权操作或远程代码执行等攻击。 AI 阅读全文
posted @ 2025-12-02 17:01 bonelee 阅读(14) 评论(0) 推荐(0)
AI Agent 安全：输入操纵攻击
摘要： AI Agent 安全：输入操纵攻击（Input Manipulation Attacks） 威胁一：资源滥用与账单欺诈（Prompt-Induced Resource Exhaustion） 威胁描述 攻击者通过精心构造的恶意提示（Prompt），诱导具备 外部服务调用能力 的 AI Agent 阅读全文
posted @ 2025-12-02 16:53 bonelee 阅读(3) 评论(0) 推荐(0)
AI Agent 安全：非预期远程代码执行（RCE）与代码注入攻击
摘要： AI Agent 安全：非预期远程代码执行（RCE）与代码注入攻击 威胁描述 具备工具调用（Tool Use） 和 函数执行（Function Calling） 能力的 AI Agent，在处理用户输入时若缺乏安全过滤，可能被攻击者通过 直接或间接提示注入（Prompt Injection） 操纵， 阅读全文
posted @ 2025-12-02 16:52 bonelee 阅读(4) 评论(0) 推荐(0)
大模型安全：模型窃取
摘要： 大模型安全：模型窃取（Model Extraction） 威胁一：嵌入层参数窃取（Embedding Layer Extraction） 威胁描述 攻击者在完全黑盒（无内部结构或训练数据）的情况下，通过向大语言模型 API 发送特殊构造的文本输入（如随机词序列），并分析返回的输出 logits 或概 阅读全文
posted @ 2025-12-02 16:45 bonelee 阅读(7) 评论(0) 推荐(0)
大模型安全：安全大模型的部署环境威胁
摘要： 安全大模型的部署环境威胁 威胁一：云平台漏洞导致模型篡改与凭据盗用 威胁描述 攻击者利用托管大模型的云平台（自研或第三方）漏洞，实现： 篡改模型文件，植入后门或恶意代码； 窃取模型中的私有数据（如训练数据、业务逻辑）； 盗用用户访问凭据，冒用身份调用模型服务，导致账单欺诈（如每日消费超 4.6 万美 阅读全文
posted @ 2025-12-02 16:34 bonelee 阅读(10) 评论(0) 推荐(0)
大模型安全：模型加载过程的代码执行
摘要： 威胁描述 许多大模型文件采用序列化格式存储，加载过程中需进行反序列化操作。若代码实现中使用了不安全的反序列化方法，且攻击者能够控制模型文件内容，则可能触发反序列化漏洞，导致远程代码执行（RCE），严重危害AI系统安全。 以 PyTorch 为例： 使用 torch.load() 加载模型时，若未采取 阅读全文
posted @ 2025-12-02 14:55 bonelee 阅读(6) 评论(0) 推荐(0)
下一页