{"text":[[{"start":6.22,"text":"机器人会把我们全都杀死吗？很难说。正如“督爷”(Dude)在《谋杀绿脚趾》(The Big Lebowski)中颇有智慧地说过的那样：“这里面有很多弯弯绕绕，这个那个的。还有，呃，头绪太多了，我的脑子都不够用了，伙计。”"}],[{"start":21.35,"text":"不过，如果脑子里千头万绪让人心烦，为什么不干脆生造一个词，就叫它 P(doom)呢？这个词——“毁灭概率”(probability of doom)的简称——突然间进入了主流。不久前，Anthropic的高级人工智能(AI)安全研究员埃文•胡宾格(Evan Hubinger)在X（Twitter的前身——译者注）上写道：“我们确实是真心相信，人工智能可能会杀死全人类！我个人认为，未来十年内发生这种事的概率>10%。”"}],[{"start":48.96,"text":"为什么偏偏这条推文如此触动人们的神经，并不清楚。也许是因为时机——不久前刚刚发生了AI智能体攻击Hugging Face服务器这样令人不安的事件。也许是那个欢快得有点神经兮兮的感叹号。当然，这绝不是人工智能业内人士第一次表达这种担忧。神经网络先驱、诺贝尔奖得主杰弗里•欣顿(Geoffrey Hinton) 2023年从谷歌(Google)辞职的理由之一是年龄，但他当时也警告说，AI这项技术正变得越来越危险。最近在接受英国广播公司(BBC)采访时，欣顿表示，10%的P(doom)“并不离谱”，但他补充说，“实际上没人知道怎样才能给出一个合理的估计”。"}],[{"start":91.89,"text":"确实如此。合理的估计到底该是什么样子？"}],[{"start":95.68,"text":"我最近写文章介绍过菲利普•泰特洛克(Philip Tetlock)关于预测的研究。泰特洛克很早就意识到，许多预测专家的预言措辞极其含糊，而且很少需要为自己的预言负责。“鲁里坦尼亚王国（Ruritania，一个虚构的中欧国家，常被用作阴谋或浪漫故事的发生地——译者注）的经济可能将很快面临一场货币危机”，听起来很像一个颇为权威的预言，但“货币危机”究竟如何定义？而且，我们的预言家心里是否有一个具体的最后期限？"}],[{"start":128.17000000000002,"text":"泰特洛克的解决办法有两点：第一，把预测确定为某种客观指标；第二，设定一个期限，然后等待。然而如果预测的是全人类的死亡，那么“设定一个期限，然后等待”就不是一种完全令人满意的方法了。"}],[{"start":144.12,"text":"一向热衷于探索预测领域前沿的泰特洛克，参与了一项新的“AI风险自动展望”(Automatic AI Risks Outlook，AIRO)项目，在这一项目中，预言者会预测AI造成各种灾难的可能性——从损失10亿英镑或1000条生命，到损失全球10%的人口。这种方法的一个优点是，较小规模的损失——无论是金钱损失还是生命损失——是我们能够观察到的，而它们提供的信息很可能会帮助我们了解一些更大规模的风险。"}],[{"start":171.64000000000001,"text":"不过话说回来，这些关于AI会产生什么后果的预测倒并不认为人类的末日即将到来。预言者认为，人工智能到2030年导致上10亿人死亡的概率低于0.5%，到2050年则低于5%。"}],[{"start":186.71,"text":"到2050年由任何原因（不管是核武器、病毒、小行星撞击，还是随便什么别的原因）造成灾难的概率是8.5%。不知道这会不会让你安心一些。"}],[{"start":198.5,"text":"这些预测究竟是为了达到什么目的？预测有很多用途。最常见的一种是用作闲聊的谈资——说阿森纳(Arsenal)会赢得欧冠(Champions League)，或者凯米•巴德诺赫(Kemi Badenoch)会失去保守党领袖职位，都可以作为开启聊天的话头。这比谈论天气显得更聪明一点。它是一种认知零食，让人上瘾，却谈不上有什么营养。"}],[{"start":220.71,"text":"做出预测的另一个常见理由，是吸引注意力。做人工智能生意的商人们显然是懂的，这能把我们的注意力从其他风险上吸引过来。还记得核战争曾经也是一件值得担忧的事情吗？恐怖主义呢？法西斯主义？金融崩溃？气候变化？致命的大流行病？最危险的风险，往往恰恰是那些你已经不再关注的风险，因为你正忙着担心别的东西。"}],[{"start":249.77,"text":"预测也是提升个人名声的好办法，尤其是当预言应验时——不过应验并非预言者成名的必需条件。20世纪初，最早的经济预言者之一罗杰•巴布森(Roger Babson)对艾萨克•牛顿(Isaac Newton)十分着迷，相信可以将牛顿的思想用于预测经济。用牛顿思想做出的经济预言不算灵验，但大肆宣传自己那些比较成功的预言倒确实是让巴布森声明大噪了。"}],[{"start":276.24,"text":"卡丽莎•贝利兹(Carissa Véliz) 2026年的《预言》(Prophecy)一书提供了一个例子：一个原本旨在吸引注意力的预言，后来变成了求生策略。法国国王路易十一(Louis XI)的宫廷占星师预言，宫廷里的一位女士将在一周内死去，结果她真的死了。路易十一有点接受不了这个过于准确的预言——看上去要么预言者是凶手，要么他真的能预知未来，而这两种可能都让人不安。路易十一决定处死这个预言者，但在处死他之前，路易十一带着一种帝王的黑色幽默，请这位占星师预测一下自己的死期。"}],[{"start":313,"text":"“我将在陛下去世前三天死去，”占星师回答道，巧妙地保住了自己的性命。这犀利地提醒我们：预言很少真的只是在预测未来，有时候，它们甚至根本不是在预测未来。"}],[{"start":326.7,"text":"预测未必只是提供谈资，也未必只是为了获得注意力或影响力。有时，预测确实是为了帮助我们更好地做出决定。如果是在有丰富数据的环境中，那么即便对于交通、天气这样的复杂系统，我们也可以做出有用的预测：设定参数，按下按钮，收到预测，然后据此行动。"}],[{"start":348.12,"text":"然而，在很多情况下，准确的预测既不可能做出，其本身也并不够有用。凯斯•范德海登(Kees van der Heijden)在其1996年的经典著作《情景规划：战略对话的艺术》(Scenarios: The Art of Strategic Conversation)中， 描述了他与“大型机(mainframe)行业的一家主要企业”的战略规划人员会面的经历。他们认真预测了全球对计算能力的需求，选取的指标为每秒百万条指令数。他们的疏忽在于，没有认真思考计算能力在20世纪80年代和90年代究竟会体现为哪种形式。"}],[{"start":380.02,"text":"对于计算需求的数字预测或许完全准确，但这并不足以帮助他们做出更好的战略决策。当时真正需要讨论的问题本应是：计算能力究竟会进入该公司提供的传统大型机，还是会进入笔记本电脑和游戏机？如果一份预测没能提醒你未来会是什么样子，那它再准确又有什么用？他们本该把那些图表扔掉，去雇一个科幻作家。"}],[{"start":405.18,"text":"这就说回了P(doom)的问题。围绕如何监管AI、如何防范某些可以预见的危害（例如可能导致就业岗位消失，或者错误信息的爆炸式增长），当然还有如何防止AI设法杀死地球上的所有人等问题，都值得展开严肃对话。我的问题是：这种围绕P(doom)估值的煞有介事的探讨，究竟是开启上述对话的好办法，还是逃避这些对话的好办法？"}],[{"start":429.8,"text":"译者/河狸"}]],"url":"https://audio.ftcn.net.cn/album/a_1790668303_6248.mp3"}