关键观点
智能体安全的核心是意图判断
代理或策略引擎可以观察数据流和工具调用,但观察并不等于理解。真正困难的是判断某个动作是否符合当前任务、上下文和操作者意图。同一个删除数据库的动作,在重建数据库任务中可能合理,在无关任务中则可能…展开观点收起观点
代理或策略引擎可以观察数据流和工具调用,但观察并不等于理解。真正困难的是判断某个动作是否符合当前任务、上下文和操作者意图。同一个删除数据库的动作,在重建数据库任务中可能合理,在无关任务中则可能造成事故。因此,安全系统需要理解智能体为何行动,而不能只匹配动作本身。
为什么重要: 如果控制系统缺少任务语境,企业只能在过度限制智能体和放任危险行为之间二选一。
支撑证据
The hard problem is understanding if what I should do now... what is the engine that needs to underwrite these different actions and say if they're okay or not
人工审批无法适应指数级操作量
自主智能体会将软件操作次数提升数个数量级。过去可依赖人工复核的控制方式,在百倍、千倍甚至百万倍操作量下不再可行。企业也难以简单禁止采用,因为生产力收益和内部需求正在推动扩散。监督能力必须随操作…展开观点收起观点
自主智能体会将软件操作次数提升数个数量级。过去可依赖人工复核的控制方式,在百倍、千倍甚至百万倍操作量下不再可行。企业也难以简单禁止采用,因为生产力收益和内部需求正在推动扩散。监督能力必须随操作规模自动扩展。
为什么重要: 安全架构需要从逐项人工批准转向自动筛选、风险分级和例外升级。
支撑证据
things that we thought might be useful in the past like a human in the loop now that you're going to have 100x, a thousandx, a millionx of these actions, h that's not going to work