IDC于2025年8月6日发布了《中国大模型推理算力市场分析报告》，深入剖析了当前中国大模型推理算力市场的建设现状、格局与市场规模，并对未来发展趋势进行了预判。报告指出，尽管关于“智算中心建设已经供过于求”的言论不绝于耳，但企业在IT基础设施方面的投入意愿依然强烈，基础设施与IT运营优化在最不受预算削减影响的IT投资中排名第一。地缘政治因素、供应链限制等是当前基础设施投入面临的主要挑战。
大模型算力建设：从互联网转向央国企
根据IDC的追踪数据，2024年中国大模型AI基础设施规模已达358.9亿元人民币。值得关注的是，基础设施建设的重心正从互联网企业向央国企以及其他行业企业转移。随着投入规模的快速增长，如何提高基础设施的自动化程度成为首要任务。IDC调研显示，在基础设施软件现代化方面，投资基础设施自动化和可观测性排在首位。此外，增加开源基础设施软件的使用、加快与大型机现代化相关的努力也备受关注。将基础设施扩展到边缘站点也是2025年基础设施建设的优先事项。报告显示，在计划部署边缘AI的组织中，50%的计划与云服务商合作，44%的企业计划自行部署和管理边缘AI基础设施，42%的企业倾向于选择电信服务商，38%的企业会选择与系统集成商合作。
AI基础设施服务模式的新变革
与传统AI相比，大模型的浪潮对AI计算提出了更高的要求，包括密集计算、单工作负载多个节点、混合部署模式、扩展性以及可持续性等方面。这驱动了新的AI基础设施服务模式的出现。除了以中兴、华为为代表的服务器厂商，以英伟达、昆仑芯为代表的AI芯片公司之外，智算中心建设与运营模式也开始兴起，典型厂商如九章云极、商汤、GMICloud等。此外，类似于硅基流动的MaaS模式也开始逐步实现规模化。
面向大模型的算力建设重点事项
IDC预计，2024年中国生成式AI基础设施市场规模将达到2091.9亿元人民币。在基础设施技术支出规模快速增长的同时，企业需要重点关注以下几个方面：
- 成本管理：平衡计算要求、性能要求和预算限制，是生成式AI应用推理的重要考量因素。
- 性能优化：确保大模型推理任务的低延迟响应和高吞吐量，对于防止性能瓶颈至关重要。
- 安全与合规：大模型驱动的应用程序正在处理诸多敏感数据，高级威胁检测、更严格的访问限制和定期合规性审计比以往更加重要。
- 网络和存储功能增强：大模型推理带来不断增长的数据量和计算需求，组织需要考虑增加网络带宽并实施网络连接存储等解决方案。
大模型与智能体的爆发带来了更高的网络、存储与计算需求。组织应该为未来自适应、自治理、自运营的模式搭建好基础设施。这份报告无疑为行业提供了宝贵的参考，也预示着大模型算力市场将迎来新一轮的增长。你认为在激烈的市场竞争中，哪些技术和厂商能够脱颖而出？
