4月25日至26日,东南大学鲲鹏昇腾科教创新孵化中心特训营(第一期)在九龙湖校区成功举办。本次活动由东南大学鲲鹏昇腾科教创新孵化中心主办,江苏鲲鹏·昇腾生态创新中心、东南大学网络与信息中心承办,围绕昇腾AI基础软硬件解决方案、大模型训练与推理技术、DeepSeek架构解析及边缘部署等核心议题,通过课程培训和实战演练共2天的培训营,为东南大学计算机及相关专业本硕博生提供了一个深度技术交流平台。活动旨在推动基于鲲鹏昇腾底座的人才生态建设,加速国产化AI技术在高校科研与产业应用中的落地。
昇腾AI全栈技术:软硬协同赋能大模型落地
昇腾产品线专家杨越洋在首日课程中,系统性地介绍了针对大模型训推场景的昇腾AI基础软硬件解决方案。他提出大模型从预训练走向了预训练+后训练,推理部署从单机走向集群,创新迭代速度加快,其中昇腾AI软硬件技术提供全场景技术支撑。硬件层面,昇腾Atlas全系服务器支持高带宽点对点通信、液冷一体化设计与盲插运维,可覆盖中心训练、边缘推理及大规模专家并行(EP)部署场景,同时异构计算架构CANN提供算子、通信等底层技术;软件层面, MindSpore框架、MindSpeed训练加速库、MindIE推理引擎及MindStudio全流程工具链,显著提升模型开发效率。杨越洋强调,昇腾通过软硬协同设计,已为企业级大模型训练、微调及行业应用提供了高性能、高可用的技术底座。
(昇腾产品线专家杨越洋)
MindSpeed加速库:突破大模型训练瓶颈
MindSpeed研发专家刘哲续从算法、算力与数据三大维度剖析了大模型发展的趋势与挑战,并强调加速套件是算力需求激增下的重点研究课题。期间他介绍了业界加速套件的现状并重点解析了MindSpeed的技术架构:底层依托昇腾NPU算力,通过通信优化、内存优化(参数副本压缩、激活重计算)、计算优化(亲和改写,计算融合)、并行优化(Swap、融合长序列、NoopLayer负载均衡)等技术,实现训练效率跃升。最后介绍了MindSpeed LLM、MM、RL共三大套件。其中,LLM针对大语言模型,支持多预制模型并提供全流程工具;MM聚焦动模态模型,模块化组件,主打高性能与模块化;RL可支持强化学习部署,提供全流程强化学习能力。
(MindSpeed研发专家刘哲续)
国产化实践:从模型对齐到多模态开发
昇腾计算工程师雷珍珍和程麟胜,分享了MindSpeed在大模型领域成果。雷珍珍介绍,MindSpeed基于昇腾生态打造分布式训练框架,能对主流大模型高效训练与微调。她还解析模型开发七大步骤,强调确保与开源框架训练结果一致的关键要点,并分享性能优化策略。程麟胜提到,MindSpeed MM是面向大规模分布式训练的昇腾多模态大模型套件,同时支持多模态生成及多模态理解,旨在为昇腾芯片提供端到端的多模态训练解决方案, 包含预置业界主流模型,数据工程,分布式训练及加速,预训练、微调、在线推理任务等特性。
MindSpeed MM具备统一架构、任务流完备、支持灵活组装二次开发、数据工程丰富、主流模型开箱即用、原生支持MindSpeed-Core加速算法等特点,可实现多模态训练全流程加速。MM套件模型迁移开发链路完备,从模型前期摸底到最后性能调优有序推进,实际模型迁移操作便捷,并预置相关易用工具辅助进行精度对齐和性能优化。MindSpeed MM的成果有力推动国产AI生态及多模态大模型技术进步,为产业应用开拓新的可能性。
(昇腾计算工程师雷珍珍)
(昇腾计算工程师程麟胜)
推理技术纵深:MindIE引擎与DeepSeek架构创新
昇腾生态技术专家焦泽昱通过三场专题报告,全面解析基于MindIE的大模型推理和DeepSeek技术原理与架构解析。专家介绍MindIE推理引擎的分层开放架构,包括ATB加速框架(优化Transformer并行策略与内存管理)、LLM组件(降低部署门槛)及服务化支持(运维监控工具)。在实战环节,专家演示了从镜像拉取、模型权重配置到服务化部署的全流程,并针对Int8量化精度、大模型蒸馏等热点问题展开研讨。
针对DeepSeek技术原理与架构解析,专家逐一剖析了DeepSeek的核心创新技术,包括DualPipe双向流水、MoE负载均衡、FP8混合精度训练兼顾效率与精度等。他特别提到,DeepSeek的开源策略“重塑行业格局”,推动行业从“百模大战”向集约化发展,其后续版本与迭代值得期待。
(昇腾生态技术专家焦泽昱)
部署实战:从云端到边缘的模型落地
江苏鲲鹏·昇腾生态创新中心高级工程师韩升原现场演示了DeepSeek模型部署全流程,通过权重量化、多机网络拓扑优化及服务化配置,团队在昇腾服务器上实现模型的高效推理。强调“部署需关注版本差异,强化学习对齐的模型更适配实际交互场景。”其分享的报错排查经验与显存计算公式,为学员提供了实用参考。
(江苏鲲鹏·昇腾生态创新中心高级工程师韩升原)
边缘智能:香橙派开发板上的轻量化创新
昇思MindSpore布道师崔花婷带领学员在昇腾开发板 OrangePi Alpro(20T)上完成Janus-Pro模型部署实战。该开发板内置昇腾AI处理器,结合MindSpore框架的动态图调试与静态图优化能力,支持CV/NLP/生成式领域典型模型及4B以下大模型的边缘端推理。布道师详解接口转换(PyTorch至MindSpore)、网络验证及性能调优步骤,并展示如何通过三行代码调用JIT编译,实现“训推一体”的轻量化开发。学员们通过实操,切身体验了在终端设备进行模型部署运行的全流程。
(MindSpore布道师崔花婷)
最后,特训营为学员们举办了成果展示与结营仪式,为学员们颁发了结课证书。东南大学网络与信息中心副主任胡轶宁总结道:“孵化中心将持续推进‘科研-教学-产业’闭环,培养具备鲲鹏昇腾原生开发能力的复合型人才。”昇腾计算技术开发团队负责人则鼓励学员投身国产AI生态建设:“从算子开发到全栈优化,每个环节都是技术攻坚的战场。”
本次特训营作为孵化中心在人才培养方面的重要实践,将持续开展。该中心自2024年11月成立以来,围绕大学计算产业前沿课题研究、课程体系建设、研究人才培养等开展合作。此次特训营的成功举办,进一步推动了校企协同育人,为产业输出高质量鲲鹏昇腾原生人才,助力孵化世界级原生科研创新成果。未来,中心将继续开展相关活动,推动人工智能技术进步与产业发展。