360首席科学家潘剑锋:智能体安全的核心是驾驭“不确定性”
“去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋这样形容AI给网络安全行业带来的变化。
潘剑锋表示,大模型带来的最大变化,不只是攻击速度更快,而是计算范式从确定性走向了不确定性。智能体能够理解模糊任务、调用工具并自主执行,但也因此带来了提示词注入、模型幻觉、错误决策等全新安全风险。
潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性”。
在他看来,这种不确定性主要来自两个方面:一类是外部攻击者通过复杂提示词隐藏真实意图,绕过安全防护;另一类则来自模型自身不可避免的幻觉,在多轮推理和多智能体协作中被进一步放大。
围绕这一变化,潘剑锋在主题演讲中提出了360智能体安全治理的整体思路:在输入层识别恶意意图,在推理层减少幻觉和错误判断,在执行层限制智能体的行动边界。
这套思路背后的逻辑是,不确定性很难被彻底消除,但可以被识别、约束和兜底。换句话说,安全不能保证AI永远不犯错,但必须确保错误不会直接演变成安全事故。
谈及行业竞争格局,潘剑锋判断,智能体安全未来将成为每个Agent的基础设施,但市场不会由单一厂商垄断,而会形成头部企业与专业厂商并存的格局。而AI厂商也不会因为模型能力增强,就直接取代安全公司。
他表示,从识别确定威胁,到驾驭AI的不确定性,智能体安全的竞争已不只是增加一款产品,而是谁能率先建立一套与智能体能力相匹配的安全体系。(袁宁)
来源: 网易智能
红包分享
钱包管理

