①o1在“化学、生物、放射和核”武器相关的问题上存在“中等”风险——这也是OpenAI有史以来对其模型打出的最高风险评级; ②专家称,具有更先进功能(例如执行逐步推理的能力)的AI软件,在恶意行为者手中更容易被滥用。
财联社9月14日讯(编辑 赵昊)美国人工智能公司OpenAI承认,其最新的o1模型“显著”增加了被滥用于制造生物武器的风险。
当地时间周四(9月12日),OpenAI发布了新一代o1系列模型,宣称可以推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。这些进展也被认为是朝向通用人工智能(AGI)的关键突破。
根据测试,o1模型在国际数学奥林匹克的资格考试中,能够拿到83%的分数,而GPT-4o只能正确解决13%的问题。在编程能力比赛Codeforces中,o1模型拿到89%百分位的成绩,而GPT-4o只有11%。
OpenAI表示,根据测试,在下一个更新的版本中,大模型在物理、化学和生物学的挑战性基准测试中,表现能够与博士生水平类似。但能力越强的AI模型意味着其潜在的破坏力也更强。
同一时间,OpenAI公布了o1的系统卡(用于解释AI如何运作的工具),报告概述了包括外部红队测试和准备框架(Preparedness Framework)等细节,并介绍了其在安全及风险评估方面所采取的措施。
报告提到,o1在“化学、生物、放射和核”(CBRN)武器相关的问题上存在“中等”(medium)风险——这也是OpenAI有史以来对其模型打出的最高风险评级。
OpenAI表示,这意味着该技术“显著提升”了专家制造生物武器的能力。据了解,评级一共分为“低、中、高和严重”四档,评级在“中”或以下的模型才可以部署,在“高”或以下的才可以进一步开发。
专家称,具有更先进功能(例如执行逐步推理的能力)的AI软件,在恶意行为者手中更容易被滥用。
图灵奖得主、蒙特利尔大学计算机科学教授Yoshua Bengio表示,如果OpenAI现在在化学和生物武器方面构成“中等风险”,那么这“进一步加强了”立法的必要性和紧迫性。
Bengio提到了有望即将落地的“SB 1047法案”,全称“前沿人工智能模型安全创新法案”。该法案要求大型前沿人工智能模型的开发者采取预防措施,其中就包括减少模型被用于开发生物武器的风险。
Bengio称,随着前沿AI模型向AGI迈进,如果没有适当的防护措施,风险将继续增加,“AI推理能力的提升及其利用该技能进行欺骗的潜力尤其危险。”
OpenAI首席技术官米拉·穆拉蒂(Mira Murati)告诉媒体,由于o1模型的先进功能,公司在向公众推出该模型时采取了特别“谨慎”的态度。
她补充道,模型通过了红队测试,在整体安全指标上远优于之前的版本。