美团开源万亿参数大模型LongCat-2.0,同步开放国产卡推理代码

7月6日消息,美团宣布将万亿参数大模型LongCat-2.0正式开源,并同步开放国产算力芯片推理代码。该模型总参数达1.6万亿,平均激活约480亿参数,专为真实的Agentic Coding任务而设计。Gni热门主流游戏攻略_实用技巧_经验分享

据介绍,LongCat-2.0在架构上创新性地引入LongCat稀疏注意力和N-gram Embedding,在提升长上下文处理效率与token级表示能力的同时,结合动态激活进一步强化了代码理解、生成及执行的表现。针对智能体任务中的长输入场景,模型引入LongCat稀疏注意力机制,通过流感知索引、跨层索引和层级化索引三项策略减少碎片化访存和重复索引计算,在保持模型质量的前提下加速百万级长上下文的训练与推理。此外,在MoE稀疏度已接近97%的情况下,模型将1350亿参数投入N-gram Embedding,该模块占比控制在总参数10%以内,兼顾了参数收益与结构稳定性。Gni热门主流游戏攻略_实用技巧_经验分享

作为业界首个在五万卡国产算力集群上完成推理的万亿参数模型,LongCat-2.0针对显存与带宽受限的国产算力芯片,在模型架构、芯片适配到部署策略上进行了深度协同优化。在模型层面,通过absorb计算模式、Indexer与MLA prolog并行处理以及KVP切分KV-cache,有效缓解超长上下文的I/O与显存压力;在芯片适配层面,通过Super Kernel减少算子数量以降低启动开销,并以Weight Prefetch将I/O延迟隐藏在前序计算中;在部署策略层面,采用PD分离部署兼顾TTFT与TPOT,Prefill端通过缩小Expert-Parallel域与序列并行分担长序列计算压力,Decode端以KV-cache切分与高并行度降低单卡显存占用。Gni热门主流游戏攻略_实用技巧_经验分享

后训练阶段,LongCat-2.0采用多教师在线蒸馏,将专家分为Agent、推理和交互三类,分别聚焦自主执行、自适应推理和安全对齐等核心能力,最终通过MOPD架构在国产算力集群上无缝融合。Gni热门主流游戏攻略_实用技巧_经验分享

LongCat-2.0沿用了LongCat-Flash的整体设计,并围绕长上下文、代码任务和智能体场景进行了三项关键优化。本次开源同步提供BF16、FP8以及INT8等多精度版本,全面覆盖不同算力平台的部署需求。美团表示,希望通过开源将模型能力与推理优化成果完整开放,盘活更多存量国产算力,释放国产算力生态的长期价值。Gni热门主流游戏攻略_实用技巧_经验分享

也许你还喜欢

GamirrorGames将发行清版过关动作

独立游戏发行商Gamirror Games(原Gamera Games)

“咕咕嘎嘎”被字节抢注版权 网友

全网共创的“赛博快乐”,被字节跳动打包成自家资产了?近日,字

《光与影:33号远征队》源色号手打法

《光与影:33号远征队》中的源色号手是游戏里非常厉害的强力怪物,玩家

潮爆三国虎牢关第二关咋麽过?快速通

在《潮爆三国》这款游戏中,虎牢关作为过关斩将的重要关卡之一,以其独特的战

《王者英雄之枪战传奇》新服等你来

》王者英雄之枪战传奇最新版下载《《王者英雄之枪战传奇》是一款由373

国产特斯拉4月份出口量同比基本持

5月16日消息,乘联分会发布的报告显示,在今年2月份和3月份

三国杀VIP究竟有哪些超值特权?详细

《三国杀》作为一款深受玩家喜爱的策略卡牌游戏,其VIP系统为玩家提供

剑网3:指尖江湖2周年庆典好礼送不停

各位玩家们你们好哇~小编又跟你们见面了!由西山居倾力制作,腾

《心动小镇》灯彩结良宵第六天灯笼

心动小镇灯彩结良宵第六天灯笼泡泡在哪?第六天的谜面是东栈灯如昼,

9月27日首测全民泡泡超人 泡泡堂回

泡泡堂小游戏是我们儿时的回忆,很多小伙伴们都还记得吧,小小的炸弹人,炸到