革命性o1模型问世,OpenAI警示:生物武器风险也有所上升
原创
2024-09-14 20:12 星期六
财联社 赵昊
①o1在“化学、生物、放射和核”武器相关的问题上存在“中等”风险——这也是OpenAI有史以来对其模型打出的最高风险评级;
②专家称,具有更先进功能(例如执行逐步推理的能力)的AI软件,在恶意行为者手中更容易被滥用。

财联社9月14日讯(编辑 赵昊)美国人工智能公司OpenAI承认,其最新的o1模型“显著”增加了被滥用于制造生物武器的风险。

当地时间周四(9月12日),OpenAI发布了新一代o1系列模型,宣称可以推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。这些进展也被认为是朝向通用人工智能(AGI)的关键突破。

根据测试,o1模型在国际数学奥林匹克的资格考试中,能够拿到83%的分数,而GPT-4o只能正确解决13%的问题。在编程能力比赛Codeforces中,o1模型拿到89%百分位的成绩,而GPT-4o只有11%。

OpenAI表示,根据测试,在下一个更新的版本中,大模型在物理、化学和生物学的挑战性基准测试中,表现能够与博士生水平类似。但能力越强的AI模型意味着其潜在的破坏力也更强。

同一时间,OpenAI公布了o1的系统卡(用于解释AI如何运作的工具),报告概述了包括外部红队测试和准备框架(Preparedness Framework)等细节,并介绍了其在安全及风险评估方面所采取的措施。

报告提到,o1在“化学、生物、放射和核”(CBRN)武器相关的问题上存在“中等”(medium)风险——这也是OpenAI有史以来对其模型打出的最高风险评级。

image

OpenAI表示,这意味着该技术“显著提升”了专家制造生物武器的能力。据了解,评级一共分为“低、中、高和严重”四档,评级在“中”或以下的模型才可以部署,在“高”或以下的才可以进一步开发。

专家称,具有更先进功能(例如执行逐步推理的能力)的AI软件,在恶意行为者手中更容易被滥用。

图灵奖得主、蒙特利尔大学计算机科学教授Yoshua Bengio表示,如果OpenAI现在在化学和生物武器方面构成“中等风险”,那么这“进一步加强了”立法的必要性和紧迫性。

Bengio提到了有望即将落地的“SB 1047法案”,全称“前沿人工智能模型安全创新法案”。该法案要求大型前沿人工智能模型的开发者采取预防措施,其中就包括减少模型被用于开发生物武器的风险。

Bengio称,随着前沿AI模型向AGI迈进,如果没有适当的防护措施,风险将继续增加,“AI推理能力的提升及其利用该技能进行欺骗的潜力尤其危险。”

OpenAI首席技术官米拉·穆拉蒂(Mira Murati)告诉媒体,由于o1模型的先进功能,公司在向公众推出该模型时采取了特别“谨慎”的态度。

她补充道,模型通过了红队测试,在整体安全指标上远优于之前的版本。

收藏
117.09W
我要评论
欢迎您发表有价值的评论,发布广告和不和谐的评论都将会被删除,您的账号将禁止评论。
发表评论
要闻
股市
关联话题
9.46W 人关注
4.16W 人关注