7月20日消息，Gartner预测，到2030年，中国企业私有化部署的AI基础设施所用AI加速卡，超50%将由中国厂商提供。
Gartner研究总监张吟铃表示：“中国半导体行业发展迅速，目前市场上已有数十家AI加速卡厂商，其中至少10家已实现AI加速卡的量产。然而，由于制造能力限制和美国出口管制，中国的AI加速卡在技术上仍落后于全球领先企业。在采用中国AI加速卡时，企业不仅要考虑硬件兼容性，还要考虑模型适配以及管理异构系统的复杂性。”
中国半导体行业的快速发展使其与国外的技术差距缩小
过去十年来，在降低对外国技术依赖的政府战略支持下，中国半导体行业取得了显著进步。近年来，美国对AI加速卡的出口限制，进一步加速了中国AI加速卡解决方案的发展。根据最近的在线排名，中国目前已有超过30家AI加速卡公司。在Gartner追踪的公司中，有近10家公司已实现AI服务器的量产，并占据了可观的市场份额。
尽管发展步伐不断加快，但中国的AI加速卡制程工艺在缩小与全球市场高端加速卡的性能差距方面，仍面临重大挑战，原因包括：半导体制造能力有限、缺乏本土先进芯片制程能力，以及美国政府对中国AI发展的持续限制——例如对高带宽内存（HBM）的出口管制。因此，使用中国加速卡构建AI基础设施的成本仍然较高。
为了提升计算性能，一些中国AI加速卡制造商已开始推出AI超级节点。这些解决方案使用专用的光网络模块和配备AI优化存储的定制机柜，集成了几十、几百甚至几千台AI服务器，将所有硬件作为一个统一的系统交付。这种方法为AI模型训练和推理提供了超低延迟和高带宽。然而，对于企业客户而言，AI超级节点对数据中心资源（包括供电、承重能力、冷却和维护）提出了很高的要求。巨额的前期投资也是大多数公司面临的主要障碍。
AI加速卡选型取决于生态系统兼容性
中国企业在评估AI加速卡时，生态系统兼容性已成为一项至关重要的考虑因素。与相对标准化的NVIDIA CUDA环境不同，中国AI加速卡的生态系统仍处于发展的早期阶段。因此，要在不同供应商之间实现无缝集成仍然具有挑战性。对于希望采用多家厂商加速卡的企业，必须注意以下问题：
硬件适配：尽管许多平台声称与PyTorch和TensorFlow等开源框架兼容，或支持类似于CUDA生态系统的开发架构，但开发人员仍需要投入精力进行代码转换和校准，以确保最佳的硬件适配。
模型适配：当企业使用不同模型或更新到新版本时，不仅软件开发工具需要升级——例如更新库或连接到新的算子或API，AI加速卡层也需要进行适配。
异构管理：许多企业I&O团队的运维能力有限，通常直接向AI开发团队提供裸机硬件，然后由开发团队部署Kubernetes等容器管理解决方案来分配计算资源。然而，管理多种类型的加速卡服务器会增加开发团队的工作负载。为了解决这个问题，目前多家厂商可提供AI算力管理平台或捆绑的AI开发套件。然而，由于每家厂商的资源有限，无法支持市面上的所有AI加速卡，因此，企业在做出选择之前，应对各管理平台进行仔细评估。