三六零股价创10个月以来新高,但国内大模型落后GPT-3.5一个代差似乎是业内共识,相比海外玩家,国内在数据量、优质内容开源方面存在瓶颈。业内人士表示,国内头部企业将沿着OpenAI的方向前进,类ChatGPT或将率先在to B领域获得突破性应用。
财联社2月9日讯(记者 付静)兔年开市以来ChatGPT概念持续爆火,随着交易所火速下发多份关注函、监管函,昨日起A股相关概念股出现降温迹象。三六零(601360.SZ)最新披露,“公司的类ChatGPT技术的各项指标只能达到略强于GPT-2的水平,与当前的ChatGPT相比尚有代差的落后。”尽管如此,三六零股价已创下去年4月以来的新高。
三六零坦言,公司投资规模及技术水平与ChatGPT相比还有较大差距,实际上日前亦有业内人士向记者表达类似观点,GPT-3.5领先国内大模型一个代差似乎已是业内共识。谈及海内外玩家在生成式AI方面的差距,方融科技高级工程师、科技部国家科技专家周迪告诉财联社记者,相比海外玩家,国内在数据量、优质内容开源方面存在瓶颈。
技术代差落后
此前三六零在互动平台表示,计划尽快推出类ChatGPT技术的demo版产品。
不过其昨日晚间公告,目前在类ChatGPT、文本生成图像等技术在内的AIGC技术方面形成的成果均仅作为内部自用的生产力工具使用,何时推出基于类ChatGPT技术的demo版产品及其实际效果如何均存在重大不确定性。
值得注意的是,公司表示,自家布局ChatGPT类产品的优势在于数据和语料,在预训练大模型方面还存在短板。
近日各科技巨头在介绍其类ChatGPT产品时均提及AI大模型——谷歌CEO桑达尔·皮查伊称自家的AI对话式机器人Bard由大模型LaMDA提供支持;百度官微显示,其拥有产业级知识增强文心大模型ERNIE,文心一言位于模型层。
财联社记者近日获得的一份调研纪要显示,ChatGPT是大数据大模型下的一种延续。
据悉,ChatGPT背后的支撑正是AI大模型,自2019年起AI大模型爆发,参数规模指数级增长,ChatGPT基于OpenAI的第三代大模型GPT-3进行升级,在GPT3.5上进行微调而来,即当前ChatGPT的版本为GPT 3.5。
(图源阿里研究院官微)
中金研报显示,“GPT-3.5对成本、组织力、工程壁垒、大算力和底层框架都提出极高要求,除显性的成本外,场景、流量、数据壁垒和社会包容度所形成的隐性成本同样不可小觑。”
仍面临诸多瓶颈
财联社记者注意到,国内多家科技公司日前均宣布各自类ChatGPT研发进度。基于此,近期“中国何时能有ChatGPT”的话题亦引发了诸多讨论。
谈及海内外玩家在生成式AI方面的差距,周迪对财联社记者表示,“ChatGPT已经经历了巨量的数据量学习,其知名度的增长会带来更多数据量,其答案就越精准,国内在这方面的产品素质训练还不够;同时,在美国等英文为主的国家,其优质内容,比如说科学学术类论文是开源的,使得回答更具专业化、更有深度,而国内相对不足。”
另据阿里达摩院有关生成式AI的解读,在产业化方面,降成本仍是关键挑战。只有像ChatGPT这样的大模型训练成本和推理成本足够低,才有可能规模化推广。
记者了解到,训练成本方面,训练一次GPT-3所要消耗的成本高达近8400万元人民币;标注数据方面,在模型训练第一步,OpenAI雇佣标注师对1.3万条数据进行人工回答,在第二部分则需对模型给出的3.3万条答案进行排序。此外据OpenAI统计,2012-2020年人工智能模型训练消耗的算力增长了三十万倍,平均每3.4个月翻一番,超过了摩尔定律的每18个月翻番的增长速率。
相比之下,一位A股上市公司人士显得颇为乐观,其告诉记者,“国内在算力与数据量方面与美国上尚不存在差异,从自然语言理解角度来看,国内的大模型包括参数等不亚于ChatGTP,算力与数据量方面与美国相比不存在差异,下一个要解决的问题依然是如何把人类的知识更好的接入。”
前述公司人士表示,在NLP方面,未来两年国内会有很大突破,“国内头部企业一定都会沿着OpenAI的方向前进,一起受益于ChatGTP已经验证成功的范式前行。”另外周迪告诉记者,“在国内,类ChatGPT在商业领域中,或将率先在to B领域获得突破性应用。”
(编辑:曹婧晨)