当大模型和智能体进入企业核心业务流程,传统安全边界被重新定义。攻击者不再只针对服务器和 application,而是通过“内容”本身影响模型行为——这正是 AI 安全与传统安全最大的不同。
攻击者在用户输入、网页、文档或邮件中嵌入恶意指令,诱导模型忽略原有规则、执行非预期操作。防御思路包括:严格区分系统指令与不可信输入、对外部内容做隔离与清洗、对高影响操作设置人工确认环节。
若智能体依赖的知识库被写入伪造或误导性内容,模型的回答与决策就会被悄悄带偏。防范要点是建立知识入库的审核机制、来源可追溯、定期校验,并对关键结论保留证据链。
工具误调用:智能体调用外部工具时参数被操纵,造成越权或破坏;
多用户记忆隔离:不同用户上下文串扰导致信息泄露;
凭据管理:API Key、令牌等敏感信息在提示链中暴露的风险。
在 FDE 等新兴认证体系中,AI 安全与合规已被列为必修内容——交付方不仅要承诺系统“能跑通”,还要能说清楚异常时如何降级、如何回退、证据留存何处。这是 AI 时代对工程人才提出的新要求。