am928 发表于 2025-4-15 15:04:01

京东云服务器-京东云服务商-京东云服务中心

文|光锥智能,作者 | 白鸽,编|王一粟

大模型,正在重塑“一体机”这个原本小众的服务器产品。

行业之前对一体机的需求极少。科大讯飞智算业务部副总经理许昀向光锥智能表示,现在的需求比预期要多很多。

开年之后,大模型变得极为火爆。大模型一体机市场也随之被点燃,迎来了爆发。

IDC 统计显示,市场上已有近百家厂商推出了 AI 一体机产品。这些厂商包括新华三这样的服务器厂商,还有京东云、百度智能云等云服务提供商,以及科大讯飞等行业应用开发商和大模型技术供应商等各路玩家。

一体机厂商在机场打广告

大模型一体机是专门为人工智能大模型应用和部署而设计的。它是一个集成计算设备,通常包含中央处理器(CPU)、图形处理器(GPU)、存储器等。它还有操作系统、AI 平台软件及各类模型算法等软硬组件。可以把它理解为一个小型独立的服务器。它既能让大模型开箱即用,又能保证数据安全。

这些玩家推出了大模型一体机,且以集成大模型为主。他们凭借各自不同的竞争优势,切入了不同的行业场景应用之中。

从产品类型角度来看,目前市场上爆火的大模型一体机,主要是以集成大模型为主要特点的。其中有 32B、70B 以及 671B 满血版等。这些一体机的整体售价大概在十几万元到百万元这个范围,且价格并不相同。

华为的四卡机器售价在 15 万多。其底层硬件是鲲鹏 CPU 与昇腾。机器内置了-70B 大模型。该大模型集成了问答助手以及知识库等功能。并且这种机器能够同时支持 30 个人并发。一位大模型一体机销售商向光锥智能表明,而搭配-671B 大模型的一体机售价超过 200 万元。

实际上,在 IT 基础设施领域,一体机并非全新产品。之前就有数据库一体机等产品存在。然而,整体市场需求一直处于不温不火的状态。

这一波大模型一体机爆发的背后,一方面受到影响,另一方面是大模型小型化以及算力小型化的发展趋势。凭借“软硬协同、开箱即用”的特性,能够在专一的业务场景中满足企业低成本使用大模型的需求,从而解决了企业 AI 部署中的数据安全、算力成本和场景适配这三大痛点。

大模型一体机供给方的市场热度颇高,然而实际上在行业落地还需时间。许昀称,现阶段大多数企业处于试点阶段,行业适配也需要时间,预计半年左右,真实的市场需求才会爆发出来。

研究总监张吟铃表示:很多企业没有算清楚部署大模型一体机的投资回报比。正因如此,很多对大模型使用场景进行过研究的大型企业,对大模型一体机的投资并不多。整体行业仍处在前期阶段。

本质上仍属于 AI 服务器类型的大模型一体机,它还能持续火多久呢?各类玩家在其中又会以怎样的角色展开争夺战呢?

一体机需求暴增,众多玩家开抢市场

2025 年被视为大模型落地应用爆发的一年。一体机作为底层算力支持的服务器,对于众多企业拓展大模型落地应用而言,成为了关键的一环。

浙商证券最新进行了测算,预计在 2025 年到 2027 年这段时间内,一体机的需求量分别会达到 15 万台、39 万台以及 72 万台。同时,一体机在央国企的市场空间有望达到 1236 亿元、2937 亿元和 5208 亿元。

为抢夺更多大模型市场,AI 服务器厂商开始布局大模型一体机市场并发布相关系列产品,云计算厂商也如此,行业应用和大模型技术公司同样纷纷开始布局并发布相关系列产品。

硬件厂商大致可分为两类。一类是以新华三为代表的 AI 服务器厂商,这类厂商能够提供集成化的产品。另一类是以华为为代表的国产芯片厂商,这类厂商更多是提供底层芯片支持。

以新华三为例,其截至目前已经发布了多种大模型一体机产品:

一种是一体机,它集成了大模型。其中包括灵犀 Cube 大模型一体机,其规模覆盖 14B 至 671B。该一体机搭载了 V3、R1 模型,能够支持 671B 大模型的单机推理以及训推一体服务。

一种是为特定行业定制的大模型一体机,比如有与数字政通合作的城市治理大模型一体机;还有与泛微合作的协同办公大模型一体机;以及与百度健康合作的医疗大模型一体机等。

https://img2.baidu.com/it/u=1911276113,3191711812&fm=253&fmt=JPEG&app=138&f=JPEG?w=945&h=500

新华三作为服务器厂商,相比较而言硬件优势较为明显。其自主研发的服务器,像 H3C R5330 G7 和 R5500,具备支持高性能 GPU 的能力,还能提供灵活的拓扑架构,对多种模型具有兼容性。并且,硬件厂商会注重软硬件的集成,以此优化性能和兼容性,降低用户的配置成本。

另外,在硬件层面能够清晰地察觉到,国产化成为了大模型一体机的重要发展趋势。以华为昇腾、海光、寒武纪等为代表的国产芯片,也成为了众多行业客户构建大模型一体机时底层硬件配置的首选。

华为中国合作伙伴大会 2025 期间,华为董事以及 ICT BG CEO 杨超斌做出表示。当下,已经有超过 80 家伙伴依据昇腾,打造出可以开箱即用的大模型一体机。并且,这些一体机通过极为简洁的部署以及灵活的配置,能够满足企业多样化的需求。

除硬件厂商外,云厂商可以说是布局大模型一体机最激进的玩家。

不完全统计显示,三大运营商云、百度智能云、京东云、火山引擎、浪潮云、阿里云等诸多云厂商,都已推出大模型一体机产品。

目前云厂商们的大模型一体机主要有两大类型。一类是适配标准版,也就是蒸馏版,其规模为 32B 或 70B;另一类是适配满血版,规模为 671B。并且都是以这些为基础来适配不同的行业场景。

京东云对于金融场景而言,银行和券商行业适宜适配满血版,而保险以及基金则适宜适配基础版。

百度智能云按照千帆和百舸两大平台来细分大模型一体机。百舸一体机的核心在于算力效率和成本控制。千帆一体机侧重于模型开发的便捷性以及应用生态的丰富性。

云厂商一方面能够针对不同场景推出各种细分的大模型一体机,这样就能覆盖更多细分场景的用户需求。同时,云厂商还可以将自身的云服务生态、弹性算力等结合起来,为用户提供更多的支持。

事实上,云厂商在积极抢占大模型一体机市场。这背后的原因归根结底是,国内云厂商难以放弃私有化部署这块蛋糕,因为这是其非常重要的营收之一。张吟铃对光锥智能表达了这样的观点。

当前中国市场的情况是,公有云已经发展了很多年。即便如此,企业私有化部署的需求一直都存在着。

一位头部云厂商的战略规划人士此前认为,公共云在未来 5 年到 10 年将是发展方向。然而在接下来的 3 年里,中国云市场的核心增长点是私有云以及混合云。

因此,对大多数云厂商而言,企业私有化部署市场是一块尚未被“啃”下的蛋糕。同时,大模型一体机市场的爆发,为云厂商们提供了机会。

在大模型一体机市场里,存在着一类玩家。以科大讯飞为例,这类玩家属于行业应用及大模型技术厂商。与硬件厂商的硬件优势相比,与云厂商的生态优势相比,它们的核心竞争力主要聚焦在技术和行业理解方面。

这些厂商具备自身的基座大模型能力。他们还能够依据行业的特定需求,对开源大模型进行微调。并且通过这种方式,沉淀出了许多细分场景的行业大模型。

近期科大讯飞的星火深度推理模型 X1 进行了全面升级,并且基于此首发了星火医疗大模型 X1,同时其大模型一体机也推出了专门针对政务、警务、司法、医疗、高教这五个应用场景的一体机产品。

许昀表示,一体机需要与行业软件进行深度的结合。同时他还指出,对于同类型的大模型厂商而言,要看谁能够具备更深入的行业理解,从而实现差异化的竞争优势。

硬件厂商、云厂商以及大模型厂商,大模型一体机市场变得极为火爆,政企客户的需求呈现出爆发式的态势,这就好像开启了一场争夺大模型落地应用的“盛宴”。

从市场需求方的角度来看,许多企业仍处于前期试点阶段,真正的市场需求尚未真正显现出来。而对于大部分企业而言,大模型一体机的应用能否带来更高的商业价值呢?

超细分场景应用,一体机商业价值待验证

一体机市场的突然爆火,主要得益于这一波热度的带动。

爆火之后,一方面,更多政企客户能够自上而下地了解大模型的能力,他们也更愿意尝试进行大模型的落地应用。许昀表示,这使得“大模型的整个需求池子变大了,需求面变广了。”

另一方面,更为重要的是,此前很多企业的业务场景都有对数据隐私安全负责的需求。然而,由于受限于数据安全合规等因素的影响,这些企业都没有轻易地尝试将大模型与业务进行结合。

可以说,企业对大模型“轻量级”的私有化部署需求被刺激了,这样一来,那些预算有限的小场景和小需求,都能够用上大模型了。

因此,从综合市场信息来看,目前大模型一体机的市场需求,一方面来自金融、政企、医疗、教育等这些对数据安全要求较高的应用场景;另一方面来自工业等对延时较为敏感的应用场景。尤其在金融、政务等领域,客户对大模型一体机的需求十分旺盛。

https://img2.baidu.com/it/u=3842701152,1780959593&fm=253&fmt=JPEG&app=120&f=JPEG?w=607&h=311

大模型一体机所能提供的大模型能力和算力支持存在限度。正因如此,在当前各行业场景里,真正能够应用一体机的,都是某一个行业中极为细分的场景。

一体机的应用或许存在于一些极为细致的领域。因为在大的行业里,每一个细分领域针对模型的参数量有着不同的要求和需求。许昀表示,所以我们会从具体的行业场景中进一步筛选出不同细分的场景,以便进行一体机适配。

大企业之下存在很多小部门,其中财务部对数据隐私安全要求较高,这种情况下可以使用一体机来进行大模型的私有化部署。通过小部门的试点,企业之后可以决定是否要建设大型算力中心。

一些企业的 IT 部门会部署一台一体机,用于企业内部知识库的检索。还有些企业的 IT 部门会利用一体机做一些对话的操作系统等。同时,这些企业也会利用大模型来提升员工的工作效率。

现阶段接触的客户,对满血版一体机的需求冲动很大。然而,在落地过程中会存在疑问,即部署一体机的应用场景是什么。许昀表示,不同的场景对一体机的诉求各不相同,需要根据行业场景进行因地制宜。

一体机客户中,大多数是对隐私不敏感的中小企业,这些中小企业更多地会使用便宜且有弹性的公有云。而对于有一些存在长期需求的情况,例如需要利用大模型的总结归纳能力来读取其他家公司的财报,并且不想将其置于公有云场景下的,就可以部署一体机。

大型企业通常会构建起属于自己的独立智算平台。若要在细分场景中部署一体机,就需要考虑怎样与自身的其他智能算力平台进行协同管理这一难题。

智算中心好比一个满汉全席,而一体机则更像是地方小吃。那么,大模型一体机是否真的能够撑起一个独立的市场呢?

现阶段,企业部署一体机之后,用于增长业务的场景着实很少。更多的是用于效能的提升。张吟铃表示,目前企业正处于一个内部从上层到下层都在尝试进行部署的过程当中。

张吟铃明确表示对未来一体机赛道持谨慎态度。她指出,一体机的底层逻辑为服务器硬件加软件。上层搭载的大模型开发部署平台能让企业部署 AI 更便捷。然而,当企业在使用大模型进入成熟期后,若要扩展资源用于更多场景部署,就需面对使用同一软件平台去管理不同种类一体机的挑战。倘若企业已选择了一套软件平台,只需增加更多服务器便可。”

从商业化逻辑方面来看,对于科大讯飞这样的厂商而言,它与硬件厂商的本质差异在于,它不依靠硬件来获取收益,而是通过赚取软件服务费用,以及促使客户从细分市场向其他项目进行转换从而获得营收。

从具体使用情况来看,行业客户目前对一体机的评价呈现两极分化。一方面,他们认为一体机能够满足自身在某一个细分行业的需求,并且整体实现的效果也较为不错;另一方面,由于没有找到与行业能够深度结合的点,而且部署一体机的价格也不是很便宜,所以他们觉得一体机的效果不好。

当前大模型一体机的应用主要集中在细分行业的细场景里。它是否真的能给企业带来实际的降本增效,以及未来的市场潜力究竟怎样,这些都还存在疑问。

大模型一体机要从能够使用,发展到使用起来很便捷,接着再到切实地解决企业实际存在的问题,这期间还需要一段时长。

走,去行业深处!

事实上,行业中对于大模型一体机能否真正发挥大模型性能这一问题存在着诸多的讨论。

一位业内人士称:目前,多数售卖单机的商家都未对并行策略以及跨节点通信开销优化予以考虑。就如同江南七怪一同上阵也只是战斗力为五的渣水平,然而全真七子中单个可能较为弱小,但七人摆阵后就能与黄药师不相上下,这是因为天罡北斗阵进行了集群优化。

但即便如此,当下一体机的数量依然很多。不过,一体机在现阶段主要是满足客户的情绪价值,比如具有本地化的特点,能够开箱即用,具备专属性,并且还在进行更多的场景尝试,特别是在政企市场方面。

一体机的上下游变得火热。很多做算力服务器的销售商开始大力推销一体机。但最终真正签单落地的并不多。

有大多数官宣部署了大模型的企业,其真实现状是实际上仅仅进行了前期测试。

许昀向光锥智能明确表示:我们当下仅仅察觉到了市场的需求。然而,许多方面仍在进行一体机的试点工作,行业的适配过程还需要一定的时间。正因如此,在当前这个阶段,一体机实际的订货量暂时还无法获得确切的数据。

但许昀却也坚定地看好大模型一体机赛道。

他认为,当前有越来越多小版本大模型被推出。这些小版本大模型更适合以一体机的形式进行部署,因为其性价比很有优势。现在软件和硬件都在不断进步,所以未来肯定会在某个时间点,出现一些非常好用的垂类模型,这些模型能够放在专用的一体机上。

一体机的未来必定是在行业上进行纵深发展。因为只有这样做,才能够既降低模型尺寸,又能把效果做到最优。
页: [1]
查看完整版本: 京东云服务器-京东云服务商-京东云服务中心