在中国，随着资源高效型大语言模型的快速发展和人工智能（AI）基础设施市场的不断拓展，许多企业都迫切希望部署生成式人工智能（GenAI）。Gartner预测，到2027年，中国80%的企业将使用多模型GenAl策略来实现各种模型功能、本地部署需求和成本效益。到2028年，中国90%的企业将托管而非自建AI基础设施，以实现更高的可扩展性、成本效益和运营灵活性。

Gartner研究总监张吟铃表示：“DeepSeek R1等模型由于减少了训练所需的算力，吸引了中国市场的广泛关注。与其他同类模型相比，蒸馏模型能够在资源受限的条件下有效地进行推理。此类开放权重的模型吸引了大量的企业和IT服务提供商——他们希望以较低的投资获得高性能模型。”

根据2025年Gartner 首席信息官（CIO）和技术高管调研，GenAl是CIO计划部署的头号新兴技术，90%的中国受访者将增加在这方面的投资。虽然大语言模型的采用将在2~5年内成为主流，但各企业将根据具体用例使用多种GenAI模型，包括大语言模型、多模态模型和领域特定模型。

今年年初，重视数据隐私安全及缺乏AI技能的企业机构，使用生成式人工智能一体机在本地快速部署了大语言模型的用例。但是，使用一体机仅能满足一时的需求，在未来由于成本、上市敏捷性和可扩展性等原因，不可能在本地托管所有的GenAI用例。因此，中国的CIO以及基础设施和运营（I&O）领导者必须注意以下三大影响，确保GenAl部署的可靠性、安全性、可扩展性和及时性。

生成式人工智能一体机将对中国企业产生短期影响

生成式人工智能一体机旨在为AI开发和部署提供综合解决方案，对中国市场来说也非全新产品。这些结合了硬件和软件的集成系统已经上市了一段时间，模型和硬件制造商去年就推出过此类产品。然而，由于大语言模型训练和推理需要强大的算力，加上企业仍在探索实用的GenAI用例，使得最初采用面临挑战，阻碍了大量投资。

根据企业可用的模型规模、芯片类型和性能需求，一体机市场提供了多种选项。不同一体机的价格差异巨大，主要体现在算力、存储和网络接口等硬件差异上，而整体封装架构则大体类似。但并非所有提供商都提供从基础设施到应用层的全栈式开箱即用解决方案。有些提供商只关注基础设施，而其他则涵盖AI开发工具和针对特定需求的自定义AI解决方案，提供“开箱即用”的体验。不同解决方案的定价差异很大，从数十万到数百万元人民币不等，具体取决于架构的深度。

张吟铃表示：“模型迭代、算法改进、硬件更新和AI应用需求的快速增长，将给一体机的性能和生命周期管理支持带来压力。中国企业往往避免依赖单一提供商；为满足合规要求，倾向于选择不依赖特定厂商的品牌，这可能导致企业未来购买服务器时选择不同的品牌。尽管有类似的架构，但不同提供商之间的内部组件有所不同，给维护带来挑战。使用中立软件管理多台计算机是一个选项，但可能会浪费每台计算机原生软件自带的资源。”

企业需要探索可用的基础设施托管选项

基于监管要求和对数据安全的担忧，对GenAI工作负载托管位置的决策变得更加复杂。由于监管义务或内部安全要求，某些企业必须将GenAI工作负载部署在本地。出于数据安全考虑，许多中国企业对使用公有云进行模型微调或通过MaaS部署GenAI应用持谨慎态度，更倾向于在私有环境中部署软件和模型。

张吟铃表示：“无论采用何种部署方法，可靠的安全措施和配置都至关重要。本地部署不一定需要从头开始构建数据中心，有多种托管数据中心选项可供选择。该战略的一个关键组成部分是了解可用的基础设施托管选项。企业必须在众多可对安全性、技术专业知识和运营工作产生影响的选项中做出选择。”（见表1）

表1：基础设施托管选项与所有权和工作量示例

评估GenAl采用路线图，根据用例标准选择最佳部署位置

在了解了所有基础设施选项及其影响之后，I&O团队需要与安全、数据、应用和AI团队协作，进行部署战略规划。通过执行以下步骤，企业可以制定长期GenAI工作负载部署图（见图1）。

图1：GenAI⼯作负载部署图⽰例

对于希望在部署和扩展GenAI解决方案方面取得持续成功的企业来说，一个定义明确且全面的基础设施战略必不可少。