内容摘要
约书亚·本吉奥认为,前沿AI的能力增长正在放大失控、权力集中、危险知识扩散、就业替代与情感操纵等风险。出路不是绝望或全面停止AI,而是同时推进“先天安全”的技术路线、独立风险评估、责任保险、国际核查与公众参与。
关键观点
转折来自能力跃迁,也来自亲情
ChatGPT让本吉奥意识到,机器理解语言的时间表比许多研究者预计得早得多。真正促使他公开发声的,不只是技术判断,而是想到孩子和孙子未来可能面对的生存与民主风险。他承认自己过去曾接触过灾难风险论述,却因希望肯定自身工作的价值而选择忽视。这种自我反思揭示了专家也会受到身份、群体环境和情绪防御的影响。
为什么重要: AI治理不能假设技术专家天然客观;制度必须容纳异议、外部审查和利益冲突纠偏。
支撑证据
I should have seen this coming much earlier. It is only when I started thinking about the potential for the lives of my children and my grandchild that the shift happened.
低概率不能抵消灾难性后果
本吉奥用预防原则解释为何不能等风险被完全证明后再行动。专家对AI造成生存性灾难的概率分歧极大,这说明知识不足,而不是风险不存在。只要结果可能是人类灭绝或全球独裁,即使概率只有1%甚至0.1%,也已超出可轻率接受的范围。他主张按照“概率乘以后果”的整体风险,而非仅看事件是否最可能发生。
为什么重要: