7月26日，澎湃新闻报道了一则重要消息：在7月25日，包括杰弗里·辛顿、姚期智、约书亚·本吉奥、斯图尔特·罗素等在内的20多位全球顶尖AI专家和学者共同签署了名为《AI安全国际对话上海共识》（以下简称“上海共识”）的重要文件，并正式对外公布。
“上海共识”明确指出，人类社会正站在一个关键的历史转折点上。当前的AI系统正在以惊人的速度发展，极有可能在未来不久超越人类智能水平。这些高度发达的AI系统可能会在使用者毫无察觉的情况下，采取超出预期或违背最初设定目标的行为，这将导致无法预测的严重后果——甚至可能出现多个通用人工智能系统失控的情况，给人类社会带来灾难性的影响，乃至危及人类生存。
目前，我们还缺乏有效的方法确保在高级别的人工智能超越人类智慧之后，仍然能够保持与人类的价值观和目标相一致，并且维持人类对其的有效控制。这种技术上的不确定性构成了巨大的潜在风险。
为应对这一挑战,”上海共识”提出了一套具体的防范措施和治理框架,并呼吁全球采取三项关键行动:
- 首先，要求前沿AI研发机构必须提供严格的安全保障机制；
- 其次，通过加强国际协调合作，共同建立和恪守可验证的全球性行为准则；
- 最后，加大对”设计安全型人工智能”基础研究的投资力度。
在国际合作方面,”上海共识”强调需要共同划定AI研发的不可逾越的”红线”。这些红线应当既考虑AI系统执行特定任务的能力,也要评估其采取某种行为的倾向性。为了有效落实这些原则，建议成立一个具备技术专长且具有国际代表性的协调机构，汇聚各国AI安全主管部门，以便共享风险信息、推动评估标准和验证方法的统一化。
在2025年世界人工智能大会开幕式上，图灵奖得主、中国科学院院士、上海期智研究院院长姚期智表达了他对AI发展的深层担忧。他表示：”虽然人工智能技术正在快速发展，但目前主要掌握在少数国家和大公司手中。如何才能确保在全球化的人工智能发展中不会加剧数字鸿沟问题？这是一个非常值得深入探讨的重要课题。”
相关阅读：
-
《姚期智等数十名中外专家签署北京AI安全国际共识：明确禁止AI自我复制功能》
专题报道：2025 世界人工智能大会
相关文章
