新闻中心

阿里云开源通义千问Qwen2 开源策略改变行业格局

发布日期: 2024-06-15 作者: 新闻中心

  6月7日,备受市场期待的开源模型通义千问Qwen2系列终于揭开了神秘面纱。当天凌晨,阿里云免费开源首波5个尺寸的预训练和指令微调模型,两小时后,全球开源社区Hugging Face宣布Qwen2的72B模型直接冲上其开源大模型榜单,排名超过了其2月发布的Qwen1.5-110B和美国的Llama3-70B。

  Qwen2发布后两小时,Hugging Face联合发起人兼首席执行官克莱门特·德朗格(Clément Delangue)发推祝贺。

  中国开源大模型正在迎来两重拐点,一是足以媲美以Llama为代表的美国开源模型,二是逐渐超越国内绝大部分闭源模型。在OpenCompass等权威榜单上,Qwen从1.5代起实现了大模型开源创新突破,Qwen2全面扩大了这种优势,被业界戏称为“卷王”。

  Qwen2-72B的各个性能数据在MMLU、GPQA等国际权威测评中表现优异

  在大模型领域,开源与闭源之间的争议一直是业界的热点话题。闭源模型曾因OpenAI的示范效应,被认为天然具备技术一马当先的优势,中国也有闭源公司公开喊话,认为“开源模型将越来越落后”。阿里云从未参与口水战,而是以行胜于言的姿态,推动自研核心模型的开源。据阿里云提供的数据,从2023年8月至今,通义千问密集开源了几十款模型,总下载量突破1600万次。Qwen2的出现,标志着开闭源两种路线的交汇点:开源模型反超。

  无论是开源还是闭源模型都尚未实现盈利,但阿里云的开源策略,试图导向更大的行业图景和商业前景。开源能以很快速度让AI模型触达潜在用户,刺激下游应用创新的爆发,一旦大模型的落地应用进程越过奇点时刻、步入万物生长阶段,云计算将成为模型部署和模型服务的理想平台。

  这也就不难理解阿里云CTO周靖人在多个场合的反复表态:“阿里云正以开放的心态,致力于构建一个云计算平台,让算力更普惠、让AI更普及。”

  出乎很多人的意料,中国开源模型的影响力,已经到了被海内外开发者反复“催更”的地步。2月初,通义团队发布Qwen1.5,见到这个带有小数点的版本号,开源社区心领神会,猜测后面跟着“大招”,开始了持续几月的“催更”,有海外开发者说:“今年更值得期待的三个模型是GPT-5、Llama3、Qwen2”。

  据悉,通义千问Qwen2系列首波开源五款模型,覆盖了0.5B到72B的不同参数规格,小尺寸模型可以部署在耳机、手机等端侧设备,大尺寸模型能用来企业界、科研级的场景。与前代Qwen1.5相比,Qwen2的多语言处理、长文本处理、代码生成、数学和逻辑推理等能力显著提升。尤其是参数规模较大的Qwen2-72B,在MMLU、GPQA、HumanEval等十多个国际测评中均得到好评。

  目前,开发者们可以在魔搭ModelScope等开源社区体验并下载Qwen2,或者通过阿里云百炼平台调用模型API,普通用户可在魔搭或Compass Arena等平台直接体验模型。方式任选、丰俭由人。

  相比2023年8月Qwen系列首次开源时,Qwen2问世的此刻,国内AI大模型赛道的竞争已确定进入“深水区”。从过去一年的“百模大战”到当前的行业“冷静期”,头部基模公司数减少到20余家,模型技术竞争变得更残酷。

  然而,通义千问在这样的市场环境下,依然保持着强劲势头。一直在升级迭代核心模型,开源了数十款不一样的尺寸的模型,涵盖了大语言模型、多模态模型、混合专家模型以及代码大模型,并慢慢的变成为全球大模型竞争的核心参与者。

  业内人士指出,在此阶段,大模型企业能否在激烈的市场之间的竞争中立足,重点是是否拥有更强大的模型能力和更具性价比的算力服务。

  开源模型千千万,模型性能仍然是立足之本。周靖人此前就曾强调,“阿里云的策略不是简简单单的开源,而是要开源更强大的模型。”

  目前,大模型行业存在两条技术路线,一条是OpenAI的GPT4.0为代表的闭源路线;另一条是则以Meta的Llama和阿里的Qwen等为代表的开源路线。长期以来,“大模型开源or闭源”之争一直是业界热门议题。

  研发大模型需要很高的人才和资产金额的投入,企业出于技术竞争和商业竞争的考虑选择闭源,不难理解。但开源派认为,大模型作为人类历史上罕见的颠覆性创新,是全人类知识资产的产物,不应当被少数研发者掌握,应以合适的方式开放共享。

  自有AI技术以来,开源就是AI发展的核心推动力。开源信念的存在和精英人才的流动,让“闭源”成为一种被动的固守。2023年Meta开源Llama后,谷歌一位研究人员在内部文件中表示:“我们没护城河,OpenAI 也没有。”如今,美国Llama、中国Qwen等开源模型正在构建可与GPT-4等闭源模型抗衡的生态。

  截至6月初,Qwen系列开源模型下载量超过1600万。这一个数字背后是海量中小企业和开发者,他们可能正在进行模型选型、二次开发或者应用研发。他们的需求,单靠闭源模型API服务没办法得到充分满足。

  华东理工大学的X-D Lab(心动实验室)团队基于通义千问开源模型,利用自有的行业数据,开发了三款垂直领域大模型,分别聚焦于心理健康、医疗健康、教育考试领域。小组成员颜鑫介绍,由于资源有限,普通开发者无法从头训练一个基座模型,需要在市场上选择优质的基座模型;由于数据珍贵,他们盼望在私有环境下对模型作二次训练,因此一定要使用可下载的开源模型。经过对模型研发可持续性、模型生态支持力度和场景适配几个维度的比较,他们选了通义千问。

  目前,海内外开源平台共有1500多个基于Qwen系列二次训练的模型,其中也许没有一点两个场景是一模一样的。只有场景中的使用者,才清楚自己真正要什么。

  浙江的初创企业有鹿机器人近期收到一笔超千万的商业订单,向一家头部的清洁设备制造商出售软硬件结合的“通用机器人大脑”,其中的软件是有鹿基于通义千问开源模型开发的具身智能大模型LPLM。

  据有鹿机器人CEO陈俊波介绍,中国拥有万亿级规模的专有设备市场,包括叉车、清洁车、充电车、挖掘机、吊车、人形机器人等,这些设备未来都将需要智能化升级。有鹿研发通用机器人大脑,目标正是适配这些专业设备,帮助制造公司进行产品升级。

  有鹿的具身智能大模型LPLM融合了大语言模型和物理世界数据,能像人类一样感知物理世界的信息,并以自然语言与人类进行交互,分析执行人类的指令。有鹿表示,Qwen是中文领域智能性表现较好的开源大模型,研发团队用Qwen系列的多个尺寸模型做了开发测试,并利用物理世界数据一直在优化模型和产品。

  周靖人表示,无论是开源还是闭源,都只是手段,最终的目标是将大模型迅速应用到实际场景中。“在这样一个开放的市场中,应该把选择权留给开发者和企业。他们会根据实际场景问题的复杂度,比如调用频次、资源配比等,来做符合于他们业务场景的选择。”

  中国信息化百人会执委、阿里云副总裁安筱鹏以“爬珠峰”为喻阐述了开源生态的价值。他解释说,开源生态好比一架直升机,能够将攀登者从海拔0米直接运送到珠峰大本营的5000米高度,省去了大部分的艰难跋涉。

  把所有人都送到更高的起跑线,才能加速全社会的AI攀登,开源是较好的一种途径。

  无论是开源还是闭源模型,目前整个行业都尚未通过大模型本身实现盈利。但可以预判的是,AI市场最不可能错过机会的角色将是云计算厂商,尤其是具备头部竞争力的厂商。

  不论是模型训练还是模型推理,全都离不开云计算。云计算算力集中、灵活部署、按需付费、成本较低的特点,天然适配大模型这样的算力吞金兽。一旦AIGC应用爆发期到来,所有模型公司都需要高效集约、成本优越的算力底座的支持。根据硅谷风投机构a16z的调研,大模型和AIGC创业公司80%-90%的早期融资都用于向云计算平台购买算力;未来行业更成熟时,模型和应用公司每年约10%-20%的营收将流向云计算公司。

  阿里云早在2022年就在业界首先提出MaaS(Model as a Service)“模型即服务”概念,并以模型为中心重造了云计算的技术和服务架构,以便迎接AIGC时代汹涌而来的市场需求。就在上个月,阿里云刚刚发起一场“击穿全球底价”的大模型API降价,引发众多云计算公司跟进。降价的底气,首先归结于技术。

  云计算+大模型的竞争是一场长跑,命运的齿轮可能刚刚才开始转动。阿里巴巴董事会主席蔡崇信、阿里巴巴集团首席执行官吴泳铭在此前的一封股东信中表示, “阿里将通义千问多种参数规模的版本向全社会开源,给我们的专有模型带来了增量需求,并带来算力需求。”“成为AI发展的领导者,这将为我们的云计算业务带来直接的积极增长。”

  在这样的开源开放战略之下,阿里云成为了一个坚持自研大模型并且持续开源核心模型的云计算公司。