关键观点
应区分现实网络风险与理论灭绝风险
Ghodsi认为,当前把AI代理风险与超级智能灭绝风险混为一谈,导致公共讨论失焦。现有代理虽然远未达到瞬间完成原创科研的超级智能水平,却已能以过去无法实现的规模并行执行网络安全任务。前者是当下…展开观点收起观点
Ghodsi认为,当前把AI代理风险与超级智能灭绝风险混为一谈,导致公共讨论失焦。现有代理虽然远未达到瞬间完成原创科研的超级智能水平,却已能以过去无法实现的规模并行执行网络安全任务。前者是当下的工程与治理问题,后者则仍属于缺乏直接证据的长期假设。他因此既反对无依据地制造恐慌,也反对忽视现实攻击能力。
为什么重要: 风险分类决定资源配置:企业应优先修补基础设施、自动化检测与响应,同时保留对长期风险的独立监测。
支撑证据
There is the super intelligence problem. [...] I think cyber is the major problem here. This is I think you can solve with engineering.
“放慢”面临公地悲剧
竞争中的实验室和企业很难单方面减速,因为模型能力、融资、IPO和市场份额都构成继续加速的激励。如果一家机构自行加强审查并降低实验速度,而竞争者没有同等约束,它可能承担全部成本却得不到公共安全收…展开观点收起观点
竞争中的实验室和企业很难单方面减速,因为模型能力、融资、IPO和市场份额都构成继续加速的激励。如果一家机构自行加强审查并降低实验速度,而竞争者没有同等约束,它可能承担全部成本却得不到公共安全收益。因此,要求个别公司自愿放慢并不稳定。受访者认为,统一护栏或可信第三方监督比单边克制更可行。
为什么重要: 任何安全制度若忽视竞争激励,都可能停留在声明层面,无法改变实际研发行为。
支撑证据
I'm competing. I want to win [...] I'm not going to stop unilaterally. I'll be a sucker.