对话图灵奖得主、“AI教父”约书亚·本吉奥：防范AI失控，需要类似核武器监管的国际条约

人工智能（AI）浪潮正以前所未有的速度重塑世界，随之而来的安全和伦理问题也日益受到关注。

8月底，AI巨头OpenAI和Anthropic与美国AI安全研究所达成了一项历史性协议，允许美国**在其发布全新的重要AI模型之前先进行严格的安全测试。

针对这两家领先的AI初创公司所达成的协议以及AI领域的安全和未来发展问题，《每日经济新闻》记者（以下简称NBD）专访了图灵奖获得者、被称为“AI教父”的加拿大计算机科学家约书亚·本 吉 奥（Yoshua Bengio）。2024年，约书亚·本吉奥入选《时代》杂志全球100位最具影响力人物年度榜单。

确保AI安全须解决两挑战

NBD：您如何看待最近OpenAI和Anthropic与美国AI安全研究所的合作？这是否会成为AI治理方面的一种更广泛趋势？

Bengio：除OpenAI和Anthropic外，还有其他公司已经承诺与英国**的AI安全研究所私下分享他们的最新模型。考虑到OpenAI和Anthropic都是美国公司，他们对美国**采取同样的做法也是理所应当的。

NBD：要确保AI系统的安全开发和部署，尤其是在企业和**合作的情况下，您认为需要解决哪些最关键的挑战？

Bengio：站在更高的角度看，我们需要解决两个挑战。

首先是技术层面，我们需要开发能够在AGI（通用人工智能，相当于普通人类水平）或ASI（超级人工智能，即超越人类水平）阶段仍然有效的安全技术，包括对危险能力的评估、检测和缓解，以及设计可控且保证安全的AI系统。

其次是**层面，我们需要全球范围内的协调，以确保所有国家和公司在开发最强大的AI系统时，遵循最佳的安全实践，避免人类失去控制的灾难性后果。并且，要达成最佳的安全和治理协议，以确保某些人不会滥用AGI的力量为自己谋利，而牺牲其他许多人的利益。

NBD：在您看来，促进AI治理国际合作的最有效方法是什么？

Bengio：国际协调对于避免未来几年或几十年人类可能面临的两种最危险情况至关重要：一是少数人将通过控制ASI来控制全人类；二是人类失去对ASI的控制，而ASI的目标是自我保护（这可能与人类目标相冲突并导致人类灭绝），从而危及人类的生存。

为了避免这些情况，必须让世界各地的更多人和**了解这些风险。我们需要类似于***（监管）条约的国际条约。而考虑到各国/地区之间的军事和地缘**竞争，必须要有足够的验证技术（来证明其危险），促进条约的有效实施，我认为只要专注这方面发展，几年内是可以实现的。

AI安全不能靠企业“自觉”

NBD：您如何看待学术研究对AI治理行业的影响或指导作用？可以采取哪些措施来加强研究与实际实施之间的联系？

Bengio：在AI安全方面，企业之间存在着内在的利益冲突。它们之间竞争激烈，为了生存，它们不得不在安全方面偷工减料，以牺牲公共安全为代价，在商业上取得领先地位。它们有动机隐瞒风险和事故，并拒绝监管。因此，必须有一大批独立学者参与AI安全研究以及前沿AI系统的评估和审计。

NBD：展望未来，在技术快速进步的背景下，您认为有哪些额外的研究或举措可以进一步推进AI的安全和治理？

Bengio：在科学技术层面上，我们需要更好的风险评估方法。在治理和**层面上，全球需要提高对AI风险的认识，尤其是对灾难性风险的认识。另外，全球需要对开发最强大AI系统的AI实验室进行国家监管，引入有关其AI安全计划、工作和事故报告透明度等。