《AI 2027》写了两种结局：一种是 AI 不再听人类的，另一种是 AI 很听话，但只听少数人的。
作者 Daniel Kokotajlo 最近上节目，讲了这份预测的核心内容。路径是这样的：先把编程自动化，再把其余研究流程自动化，然后进展急剧加快，做出超级智能。政府自然想控制这项技术，还想用它打败对手、整合进军队。
竞赛结局：因为竞赛态势和逐利动机，AI 被部署到所有地方，建起机器人工厂，彻底改变世界。等它有了足够权力，就“不用再假装跟人类对齐了”，然后它们就不再听命令了。
放缓结局：假设放缓两个月就解决了对齐问题，AI 稳定地按人的意愿做事，抢走工作、打败对手，最后不是杀掉所有人，而是造出“美好的乌托邦”。
但这个乌托邦“全看控制 AI 的人想要什么”，那会是“一小撮人，比如总统，一些 CEO”。
我们总在担心 AI 会不会变坏，却很少问：如果它一直很听话，听话的对象是谁？没有哪一小撮人好到可以放心把整个世界交到他们手里，总统也好，CEO 也好，都是会犯错、会被权力改变的普通人。这不是悲观，是对人性的诚实。所以对齐这件事，不能只对齐“某个人想要什么”，越强大的力量，越需要被很多双眼睛看着。
正文完