Creator of AI: We Have 2 Years Before Everything Changes! These Jobs Won't Exist in 24 Months!

关键观点

1. 01

   转折来自能力跃迁，也来自亲情

   ChatGPT让本吉奥意识到，机器理解语言的时间表比许多研究者预计得早得多。真正促使他公开发声的，不只是技术判断，而是想到孩子和孙子未来可能面对的生存与民主风险。他承认自己过去曾接触过灾难风险论述，却因希望肯定自身工作的价值而选择忽视。这种自我反思揭示了专家也会受到身份、群体环境和情绪防御的影响。

   为什么重要: AI治理不能假设技术专家天然客观；制度必须容纳异议、外部审查和利益冲突纠偏。

   支撑证据

   I should have seen this coming much earlier. It is only when I started thinking about the potential for the lives of my children and my grandchild that the shift happened.

   ChatGPT让本吉奥意识到，机器理解语言的时间表比许多研究者预计得早得多。真正促使他公开发声的，不只是技术判断，而是想到孩子和孙子未来可能面对的生存与民主风险。他承认自己过去曾接触过灾难风险…展开观点

   ChatGPT让本吉奥意识到，机器理解语言的时间表比许多研究者预计得早得多。真正促使他公开发声的，不只是技术判断，而是想到孩子和孙子未来可能面对的生存与民主风险。他承认自己过去曾接触过灾难风险…展开观点收起观点

   ChatGPT让本吉奥意识到，机器理解语言的时间表比许多研究者预计得早得多。真正促使他公开发声的，不只是技术判断，而是想到孩子和孙子未来可能面对的生存与民主风险。他承认自己过去曾接触过灾难风险论述，却因希望肯定自身工作的价值而选择忽视。这种自我反思揭示了专家也会受到身份、群体环境和情绪防御的影响。

   为什么重要: AI治理不能假设技术专家天然客观；制度必须容纳异议、外部审查和利益冲突纠偏。

   支撑证据

   I should have seen this coming much earlier. It is only when I started thinking about the potential for the lives of my children and my grandchild that the shift happened.

2. 02

   低概率不能抵消灾难性后果

   本吉奥用预防原则解释为何不能等风险被完全证明后再行动。专家对AI造成生存性灾难的概率分歧极大，这说明知识不足，而不是风险不存在。只要结果可能是人类灭绝或全球独裁，即使概率只有1%甚至0.1%，也已超出可轻率接受的范围。他主张按照“概率乘以后果”的整体风险，而非仅看事件是否最可能发生。

   为什么重要: 这为前沿模型的部署门槛、审计要求和暂停条件提供了决策原则：证据不完备不等于可以无限冒险。

   支撑证据

   Even if it was only a 1% probability, let's say, given number, even that would be unbearable, would be unacceptable.

   本吉奥用预防原则解释为何不能等风险被完全证明后再行动。专家对AI造成生存性灾难的概率分歧极大，这说明知识不足，而不是风险不存在。只要结果可能是人类灭绝或全球独裁，即使概率只有1%甚至0.1%，…展开观点

   本吉奥用预防原则解释为何不能等风险被完全证明后再行动。专家对AI造成生存性灾难的概率分歧极大，这说明知识不足，而不是风险不存在。只要结果可能是人类灭绝或全球独裁，即使概率只有1%甚至0.1%，…展开观点收起观点

   本吉奥用预防原则解释为何不能等风险被完全证明后再行动。专家对AI造成生存性灾难的概率分歧极大，这说明知识不足，而不是风险不存在。只要结果可能是人类灭绝或全球独裁，即使概率只有1%甚至0.1%，也已超出可轻率接受的范围。他主张按照“概率乘以后果”的整体风险，而非仅看事件是否最可能发生。

   为什么重要: 这为前沿模型的部署门槛、审计要求和暂停条件提供了决策原则：证据不完备不等于可以无限冒险。

   支撑证据

   Even if it was only a 1% probability, let's say, given number, even that would be unbearable, would be unacceptable.