专注做好“融合型AI底座”: 浪潮云海破解政企AI落地难题

2025年初以来，低成本、高性能的新型ai模型迅速成为业界研究、应用的焦点，越来越多的传统行业开始探索为自身的业务引入人工智能。不过在实际应用中，大部分政企用户都面临诸多挑战，包括ai如何与传统应用结合，如何搭建支持ai应用的软硬件架构等等。在近日举行的2025中国算力大会“云存智算创新实践分论坛”上，浪潮云海正式对外发布了创新的ai云基础设施平台incloudaios，为政企用户低成本、高效率地接入ai提供了一条平滑演进之路。

浪潮数据云计算产品部副总经理张明灿在演讲中表示，incloudaios平台具有开放兼容、平滑演进、简化运维、极致性能等特点，是专为政企智能化转型设计的“融合型ai底座”。“incloudaios平台可以帮助政企用户解决异构算力协同难、传统架构升级难、ai运维门槛高、性能与安全难平衡等难题，使得用户能够从传统it快速、稳妥地迁移到智能it。”张明灿说。

打造灵巧、简洁的智能云基础设施

在引入私有化ai大模型之初，大多数政企用户只是想要搭建智能问答助手应用，解决客服人手不足的问题，不过很快就会迸发出更多的想法，比如引入财务ai、办公ai、生产线ai等等。这些应用往往来自不同部门，对大模型的参数规模、精度、调用数量等各不相同，对gpu、cpu等硬件的算力要求、计算类型也不一致，共同点是都要求运行安全稳定、日常运维简单易行。另一方面，为了更好应对不断变化的国际形势，国内政企客户都存在向国产化架构迁移的迫切需求，新旧芯片、架构、软硬件环境等如何协同工作，也是一个迫切需要解决的问题。

据张明灿介绍，在具体实施过程中，有的客户选择各个部门自建一套ai基础设施，不同部门的ai平台、ai开发平台各不相同。“这其实就是烟囱模式，会导致ai资源分散，难以统一运维、统一管理。”张明灿说，“更理想的做法是云化模式，像建云一样搭建ai基础设施，实现业务整合、数据集中、资源池化。”

云化模式部署ai基础设施的好处很多。首先，ai业务通常都是从基于云端的传统业务改造而来，云化模式可以实现传统业务、ai业务的统一管理；其次，ai应用也需要调用虚拟机、容器、数据库、paas服务、存储等资源，私有云可以对此提供更好的支持；第三，私有云可以很好地支持ai所需要的多芯多模；第四，云化部署ai业务可以大大降低运维压力，减少ai平台的人力、物力、财力成本。

正是基于上述实际情况，浪潮云海近年来不断完善其智能云框架，发展可演进的私有云解决方案，纵向实现各分层解耦、可继承、可演进，横向提高服务组件的按需选配能力。此次推出的incloudaios平台就可以帮助企业高效率、低成本地接入ai能力，破解ai落地中普遍存在的ai建设成本高、异构算力协同难、大模型运维门槛高、性能与安全难平衡等痛点。

四大特性，支持ai顺利落地

据浪潮数据云计算产品部pdt经理吕广杰介绍，从市场的实际需求出发，浪潮云海为incloudaios平台赋予了一云多算、平滑演进、极简运维、软硬协同四大特性。

一云多算是指incloudaios平台支持多元异构融合的ai基础设施，可以兼容国内外厂商生产的主流gpu，使得客户采购的多种gpu协同工作。在应用层面，incloudaios平台能够提供各种开源大模型服务，为各种智能体提供标准的openai接口，使得客户和应用开发商无需考虑底层异构算力的差异。

平滑演进是指incloudaios平台提供私有云架构，客户原有的数据中心无需改造，购买单台ai服务器即可实现ai能力升级。依托incloudaios平台的云架构，客户可以高效整合智算资源，打破单节点限制、跨域动态分配资源，提升推理效率和算力资源的使用效能。

极简运维是incloudaios平台可以让it运维人员无需学习复杂的ai概念，像运维虚拟机一样运维智能体，实现传统业务与智能体应用的统一管理运维。incloudaios平台还提供了完善的智能化运维工具，不但可以保障大模型、智能体稳定运行，还支持大模型性能评估、弹性伸缩、自动高可靠保障等。incloudaios平台的安全机制也非常完善，确保客户关键数据不出域、实时监测大模型对话内容，输入有检查，输出有审计，切实保障ai业务在各类场景中都能安全可靠地使用。

软硬协同是指浪潮云海在incloudaios平台中配置了自研ai引擎，针对国内外主流gpu进行联合深度优化，从而获得更强的推理性能。据实测验证，incloudaios平台利用优化kv缓存策略使得长文本推理kvcache命中率提升了13倍，运用directstorage技术使得相同硬件下模型加载速度提升了26倍，利用自研inllm推理框架将模型吞吐提升了6倍，高并发下自动调度效率提升了26倍。

张明灿表示，浪潮云海现有约15000多家私有云客户，这些客户都有强烈的部署ai基础设施的需求。“incloudaios平台可以帮助我们的客户快速从私有云跃迁到ai云。”张明灿说。

三大突破，带来极致性能表现

实测表明，在incloudaios平台pd分离、动态流量调度等技术的支持下，浪潮云海自研的inllm推理模型吞吐量提高了6倍，同时模型预热仅需37秒、多节点gpu显存加载仅用了11秒，加载时间直降30倍。在incloudaios平台智能调度策略、自动化弹性伸缩等技术的协同下，资源调度效率提升了26倍，足以应对高并发场景，节点故障的恢复效率也提升了5倍。在dp/tp/ep、moe量化等多种应用并行的情况下，incloudaios平台能够全面增强推理性能，多轮对话首token延迟从3秒减到1秒，ttft缩短了3倍。

张明灿告诉记者，为方便客户尽快构建ai应用，浪潮云海还在incloudaios平台中内置了20多款开箱即用的ai智能体，非常受客户欢迎，已在多个行业领域投入了实际应用。比如有大型科技企业采用incloudaios平台承载其办公、财务、开发测试等系统，有头部征信企业用incloudaios平台运行其客户管理、风控、办公等系统，某国际保险企业利用incloudaios平台运行其核保、理赔、智能客服、合规管理等核心业务。

浪潮云海推出的incloudaios平台具有纯软件、软硬一体机两种形态，各有偏重。张明灿解释说，纯软件形态的incloudaios平台更强调对硬件的广泛兼容，可以帮助客户基于新旧算力基础设施构建统一的私有ai云；一体机形态更强调整体的稳定性、开箱即用特性，帮助客户简单、快速地获得ai云服务能力。

张明灿表示，incloudaios平台中内置的20多款ai智能体并不是全部，接下来浪潮云海将继续适配更多的智能体，为客户提供更多的选择。在本次2025中国算力大会上，浪潮云海还发布了“云图生态联盟计划”，计划在针对传统的硬件、应用合作伙伴进行优化之外，增强对大模型、智能体和各类gpu、算力互联等设备的适配和调优。“我们的目标是吸引50家分销商、100家行业用户生态伙伴、100家应用生态伙伴，基于浪潮云海的平台产品做深度优化。”张明灿说，“浪潮云海有优秀的ai基础设施平台，我们的伙伴有优秀的智能体应用，相向而行，就可以让我们共同的最终用户获得更好的ai体验。”