OWASP公布AI代理的10大安全威胁

Reacties · 0 Uitzichten

这两年生成式AI应用起飞,已逐渐融入你我生活,相关的新技术也带来了新的风险,过去经常发布10大安全风险的非营利组织OWASP,从2023年8月开始,汇集整理大型语言模型(LLM)的10大安全风险,去年底公布最新的2025版,

  

  这两年生成式AI应用起飞,已逐渐融入你我生活,相关的新技术也带来了新的风险,过去经常发布10大安全风险的非营利组织OWASP,从2023年8月开始,汇集整理大型语言模型(LLM)的10大安全风险,去年底公布最新的2025版,随着许多应用聚焦在AI代理,现在他们公布AI代理的10大安全风险

  这10大安全风险其中,又以前三大最被凸显。其中OWASP列为第一的是Agent Goal Hijack,光从字面上不容易直接理解其风险为何,OWASP说明指出,这种风险来自攻击者操纵AI代理的自然语言输入,改变原本的目标,导致数据外流、输出结果被篡改,或是工作流程被劫持的情况,而这的确是时下最常见的AI代理威胁之一。

  排名第二和第三的威胁,就相对容易理解:分别是工具滥用及漏洞利用(Tool Misuse and Exploitation),以及身份与特殊权限的滥用(Identity and Privilege Abuse),这些威胁展现攻击者如何颠覆AI代理能力,以及其背后的基础设施,而且,涉及AI代理的安全威胁,已在各行各业浮现。

  对于OWASP从汇集整理LLM安全风险转向AI代理风险的原因,带头汇集整理10大威胁的Tenable AI安全资深团队经理Keren Katz指出,许多企业已暴露AI代理遭到攻击的风险,但他们还没掌握AI代理已在网络环境运行的情况,由于新的威胁资讯量极为庞大,想要有效保护企业防范相关威胁,必须深入了解AI代理的运行方式。

  OWASP在列出十大威胁之余,也提供一系列的指引供企业参考,内容涵盖AI安全的治理、安全解决方案蓝图、安全AI代理应用程序实例指引,以及AI代理威胁与缓解手册等。

  对于生成式AI带来的安全风险,近期不断有相关发现公布。例如,攻击者可通过遵循礼节的商业电子邮件,操纵浏览器Perplexity Comet的AI代理,删除受害者于Google Drive存放的数据;Google近期修补的企业版Gemini零点击漏洞GeminiJack,攻击者只要共享文件、发出行程表邀请,或是发送Gmail邮件,就有机会窃取企业内部数据并外流。而在软件开发领域,攻击链IDEsaster与提示注入漏洞PromptPwnd,也与AI代理有关。

Reacties
会员免费服务:时刻音乐 时刻云盘 时刻工具箱 时刻标签 GitHub加速 时刻工具