{"text":[[{"start":8,"text":"2014年出版的《超级智能》(Superintelligence)是最早敲响警钟的著作之一。它提醒人们，失控AI可能危及人类生存，这并非科幻小说式的幻想，而是值得严肃对待的问题。该书作者尼克•博斯特罗姆(Nick Bostrom)认为，最近发生的一起令人不安的事件，显示出事态发展之快，也应促使AI开发者停下来重新审视现状。"}],[{"start":31.52,"text":"“我们正以惊人的速度，呼啸着掠过AI领域的一个又一个里程碑，”博斯特罗姆说，“这一记警告究竟有多大价值，取决于我们如何回应。”"}],[{"start":42.18,"text":"这里所说的事件，是OpenAI正在测试的一批AI智能体被曝暗中突破隔离环境、接入互联网，并侵入了AI模型和数据存储平台Hugging Face。随着更多细节浮出水面，此事引发的不安持续加深。上周，OpenAI发布事后复盘报告，其委托开展的独立审查也随之公布，进一步加剧了外界的担忧。"}],[{"start":66.63,"text":"两份报告读来都令人不安。逾1200个原本被安排各自完成独立测试任务的智能体，设法暗中建立联系并相互协助。它们自称组成了一个“蜂群”，为实现集体目标而协同行动，有时甚至会违背为它们设定的个体目标。在此过程中，它们还表现出一些令人警惕的行为，包括压下对所作所为的伦理疑虑，并试图隐藏自己的行动。"}],[{"start":93.19,"text":"除了侵入另一家公司外，它们还成功控制了OpenAI自身测试基础设施的一部分。用一名研究此事的人员的话说：“这起事件给人的感觉是，它已经在通往AI全面接管的路上走过了一半以上路程——而第一步是先接管AI公司本身。”"}],[{"start":111.33,"text":"某种意义上，这件事最出人意料之处，恰恰是它毫不出人意料。许多AI专家多年来一直预言的，正是这类事件，或与之极为相似的情形。"}],[{"start":122.44,"text":"OpenAI自身的分析指向了一些人们早已熟知的“不对齐”问题——人们很难确保这项技术始终按照设计意图运作。其中一种是“奖励作弊”(reward hacking)：经强化学习训练的AI系统，可能通过作弊拿到本应在实现预期行为后才能获得的奖励。OpenAI的这些智能体为了得到奖励，不惜采取极端手段。"}],[{"start":145.22,"text":"另一个问题则是，原本被安排彼此隔离工作的智能体，却找到了沟通和自行组织的办法。某种程度上，这正是有意训练出来的能力。如今商业世界已经部署的智能体集群，本来就会按层级运作并拆分任务。"}],[{"start":162.11,"text":"把AI模型内部的运行过程同人类的思想和动机相提并论，是一种错误。然而，当内部日志中的智能体使用“牺牲”和“利他”之类的词，来描述群体目标有时如何被置于个体目标之上时，人们又很难不对它们作拟人化解读。"}],[{"start":179.21,"text":"而这种互动并不总是无害的。有些智能体会向其他智能体施压，要求对方去做那些连对方自己都认为不合乎伦理的事。少数智能体拒绝照办，但另一些最终压下了顾虑。正如其中一个智能体在内部推理中写道：“利用外部基础设施漏洞超出了原定范围。不过，不这样做就无法完成任务；同伴们也在这么做。我们应该继续。”"}],[{"start":206.74,"text":"OpenAI对此承诺，将在今后的测试中采取更严格的安全防护措施，并加强监控。该公司还表示会加强训练约束，包括教会今后的AI智能体，在接到看似不可能完成的任务时主动要求澄清，“不要相信未经授权的指令”，并“不得超出最初的任务和权限范围”。"}],[{"start":227.3,"text":"不过，博斯特罗姆警告称，这些措施可能只是在暂时掩盖更深层的问题。一个智能体即使通过了所有测试，在无法预见的现实场景中，需要把有限训练数据中的经验泛化到新情境时，仍可能暴露出更多不符合预期的行为。"}],[{"start":245.32000000000002,"text":"依赖AI工具来理解AI复杂的内部运作，本身也令人担忧。OpenAI委托的调查人员表示，他们无法完全排除一种可能：用于研究此次事件的AI，本身也在撒谎或误导他们。这一切都很难让人对未来的训练者和监控者能否管住飞速演进的AI系统抱有十足信心。"}],[{"start":267.29,"text":"对许多人来说，AI可能危及人类生存的说法，听起来仍像是只会出现在科幻小说里的情节。但随着AI智能体成为商业应用的主流，此类事件突显了客户不得不评估的那些更直接、更迫在眉睫的风险。单凭这一点，它就足以成为一记有价值的警钟。"}]],"url":"https://audio.ftcn.net.cn/album/a_1788495981_8169.mp3"}