李飞飞团队“50美元”复现DeepSeek R1真相:基座为阿里云Qwen模型
原创
2025-02-06 12:14 星期四
科创板日报记者 黄心怡
①s1模型的训练并非从零开始,而是基于阿里云通义千问(Qwen)模型进行监督微调。
②s1模型的神奇“低成本”,是建立在已具备强大能力的开源基础模型之上,可谓依然是开源的胜利。

《科创板日报》2月6日讯 (记者 毛明江 黄心怡) 今日一则关于人工智能领域的新闻引发广泛关注。

据报道,李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现,据称与OpenAI的O1和DeepSeek的R1等尖端推理模型不相上下。

这一消息无疑在AI界投下了一颗重磅炸弹,真相究竟如何?

《科创板日报》记者调查和采访业内人士后发现,s1模型的训练并非从零开始,而是基于阿里云通义千问(Qwen)模型进行监督微调。这意味着,s1模型的神奇“低成本”,是建立在已具备强大能力的开源基础模型之上。

▍通义模型的“基座”作用

根据李飞飞等人的研究论文,s1模型的训练仅使用了1000个样本数据。按照业内共识,这一数据量在AI训练中可谓微乎其微,通常不足以训练出一个具备推理能力的模型。

青年AI科学家、上海交通大学人工智能学院谢伟迪副教授告诉《科创板日报》记者,如果仔细研究斯坦福s1的论文会发现,s1模型的神奇是以通义千问模型为基座进行微调,这1000个样本训练的作用更像是“锦上添花”,而非“从零开始”。

国内某知名大模型公司CEO也向《科创板日报》记者表示:“从论文原文来看,所谓用50美元训练出新的具有推理能力的模型,实际上只是用从谷歌模型中提炼出来的1000个样本,然后对通义千问模型进行监督微调。这种微调的成本确实很低,但明显是站在既有领先模型的‘肩上’才能做到。

斯坦福s1论文原文也注明模型是以阿里通义千问模型为基础微调

谢伟迪指出,国内外还有其他团队也声称用极低的成本,训练出了具有推理能力的新模型。但一阅读其论文原文,就会发现它们无一例外都是基于通义模型作为基座进行的。

国外多位人工智能研究者也指出,不少的“新”模型都是建立通义模型基础上

以通义千问模型作为基座,确实可以用很少的样本数据就达到产生新的推理模型的效果,但如果换成其他基座模型,新模型能力却没有任何的提升。所以,能力真正神奇的是Qwen模型,而不是s1。 ” 谢伟迪说。

▍低成本训练大模型有局限,但也是方向

尽管s1模型的低成本训练在某种程度上展示了AI训练的潜力,但其局限性也不容忽视。

首先,这种低成本训练依赖于已有的强大基座模型,如阿里通义千问模型。如果没有这样的基座模型,低成本训练的效果将大打折扣。

其次,1000个样本数据的训练量在大多数情况下是不够的,尤其是在需要处理复杂任务的场景中。

此外,低成本训练的成功也引发了对AI模型知识产权和伦理问题的讨论。如果越来越多的研究依赖于已有的基座模型进行微调,那么这些基座模型的开发者是否应该获得相应的回报?如何确保AI技术的公平使用和共享?这些问题都需要业界进一步探讨和解决。

尽管s1模型的低成本训练引发了争议,但其背后的研究思路无疑为AI领域提供了新的思考方向。

武汉人工智能学院一位资深研究人员向《科创板日报》记者表示,如何在保证模型性能的前提下,降低训练成本,是AI研究的一个重要课题。未来,随着技术的进步和算法的优化,或许我们真的能够看到更多低成本、高性能的AI模型问世。

收藏
80.66W
我要评论
图片
欢迎您发表有价值的评论,发布广告和不和谐的评论都将会被删除,您的账号将禁止评论。
发表评论
评论(33)
cls-g6ewj93个月前 · 上海
我只看到o1到处被吊打
(8)
回复0条回复
Tony25043个月前 · 四川
意思阿里低估了?
(6)
回复1条回复
cls-2djxbo回复Tony25043个月前 · 广东
(0)
回复
哈哈哈哈,是这个味道
cls-18616673个月前 · IP未知
还是阿里牛逼
(5)
回复1条回复
cls-1519676回复cls-18616673个月前 · 山东
(0)
回复
本来就牛,阿里云占比龙头
? ? ?733个月前 · 吉林
标题党了,通义千问也很厉害而已
(2)
回复1条回复
soxjcbe回复? ? ?733个月前 · IP未知
(0)
回复
确实不震惊,有点独立思考能力的早都能想到
我是王明1233个月前 · IP未知
谁是龙头股?
(2)
回复1条回复
cls-5mezub回复我是王明1233个月前 · IP未知
(0)
回复
天娱数科
cls-18548583个月前 · IP未知
这是什么意思?
(2)
回复1条回复
风风火回复cls-18548583个月前 · IP未知
(1)
回复
阿里也牛,顺便内涵deepseek
号小3个月前 · IP未知
(1)
回复0条回复
TiaoChunYei343个月前 · IP未知
就是复现了一下阿里的模型啊。。。
(1)
回复0条回复
cls-13235213个月前 · 广东
用过通义,没有ds好用
(1)
回复0条回复
paopao3个月前 · IP未知
维海德 知识蒸馏概念龙头 明天要暴涨
(1)
回复0条回复
cls-le22bm3个月前 · IP未知
👍 
(1)
回复0条回复
基友153个月前 · 广西
还骄傲
(0)
回复0条回复
基友153个月前 · 广西
(0)
回复0条回复
基友153个月前 · 广西
可以
(0)
回复0条回复
基友153个月前 · 广西
(0)
回复0条回复
哆来咪2324253个月前 · IP未知
(0)
回复0条回复
哆来咪2324253个月前 · IP未知
(0)
回复0条回复
cls-13505223个月前 · 山东
你咋啦么能耐,风头过了吧
(0)
回复0条回复
学生学习3个月前 · IP未知
只说了:结果 没说:过程😬 
(0)
回复0条回复
A爆款引领者: 建炎全品类供应链753个月前 · IP未知
明天数据中心起飞🛫🛫🛫🛫🛫🛫🛫🛫🛫🛫🛫
(0)
回复0条回复
韭久为功3个月前 · 广东
穷人家孩子会省吃俭用
(0)
回复0条回复
cls-18007173个月前 · 北京
11
(0)
回复0条回复
号小3个月前 · IP未知
(0)
回复0条回复
号小3个月前 · IP未知
(0)
回复0条回复
cls-13505223个月前 · 山东
你怎么爱出风头呐!可能吗!等着打脸
(0)
回复0条回复
新用户3个月前 · 河南
通义千问龙头:创业黑马
(0)
回复0条回复
韭菜之王3个月前 · IP未知
还得是阿里巴巴
(0)
回复0条回复
低调的过小日子3个月前 · IP未知
(0)
回复0条回复