大模型推理服务平台是某信息技术公司数字化战略的重点工程。经过多方比选，某信息技术公司最终选择智曲信息与中科曙光联合提供的解决方案，由智曲信息担任项目总集成方，中科曙光提供核心产品与全程技术支持。

项目背景

某信息技术公司旗下多款AI应用进入规模化运营阶段，调用峰值持续攀升，推理成本随之快速上涨。为保障服务质量并控制单位成本，某信息技术公司启动大模型推理服务平台建设，探索高并发、低时延、低成本的推理服务新架构。

需求与挑战

客户对平台的诉求集中在三个方面：单位token推理成本要在一年内显著下降；多模型混部时资源隔离要可靠，避免相互干扰；扩容要足够敏捷，能够跟随业务流量自动伸缩，把昂贵的推理算力用在刀刃上。

解决方案

依托在高端计算领域二十余年的技术积淀，中科曙光为本项目提供了以曙光I620-G30 GPU服务器为核心的大规模智算集群。单节点高密度加速卡配置结合高速无阻塞网络，实现大规模训练任务的线性扩展；存储侧配置ParaStor分布式全闪存储，为海量训练数据提供高吞吐、低时延的数据供给。

软件层面部署曙光DAS人工智能基础软件栈，兼容主流深度学习框架，配合智能调度平台实现千卡级资源的秒级调度与能效管理。智曲信息作为集成交付方，完成了集群部署、性能调优与故障自愈机制建设，并提供全生命周期运维保障服务。

对于人工智能平台建设方而言，能否把算力高效转化为生产力才是成败关键。项目通过标准化的算力服务目录与敏捷的资源交付流程，让客户从“拥有算力”走向“用好算力”，切实降低了业务团队的智能化应用门槛。

实施过程

在项目实施过程中，智曲信息组建了涵盖解决方案架构师、系统工程师、软件研发与交付专家的专项团队，遵循“调研—设计—部署—调优—验收”五步交付法，完成从机房勘察、方案深化设计、设备到货安装、系统联调测试到上线割接的全流程实施，并针对客户核心业务场景组织了多轮压力测试与性能调优。

项目成效

经过一个完整业务周期的运行，平台成效得到充分验证：

• 大促期间峰值QPS达8万，服务时延32毫秒以内保持稳定
• 多模型混部资源隔离可靠，相互干扰投诉清零
• 单位token成本下降37%，智能体应用规模化商用成为可能
• 夜间闲时算力自动回收复用，整体利用率提升34%

回顾项目建设历程，智曲信息始终坚持“以客户为中心”的交付理念，从需求调研阶段的深入业务访谈，到方案设计阶段的多轮专家评审，再到实施阶段的精细化质量管理，每一个环节都力求精益求精。项目验收后，智曲信息还为客户建立了专属服务档案，定期开展系统巡检与健康度评估，让算力基础设施持续保持最佳运行状态。

作为一家专注于智能算力基础设施与行业数字化解决方案的服务商，智曲信息将以本项目为新起点，持续深化与中科曙光等全球领先厂商的合作，为客户创造长期价值，共同书写智能化转型的行业答卷。