1月16日消息,近日,从蚂蚁集团获悉,蚂蚁集团和上海交通大学合作的技术成果GMLake被计算机体系结构四大顶级会议之一的ASPLOS 24接收。
据悉,这篇名为《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果,针对业界普遍存在的大模型训练显存效率问题,提出了一种高效的动态显存组合技术VMS(Virtual Memory Stitching),最高提高33%的GPU可用显存,使显存使用更为高效,进而缓解了“内存墙”问题。
蚂蚁集团和上海交通大学提出了一种高效的动态显存组合技术框架,称为GMLake。该框架采用虚拟、物理两层指针,将碎片化的显存灵活地拼接起来,从而实现了聚零为整。GMLake对典型大模型如GPT、GLM、Vicuna等进行了详细评测,最高扩大了约33%的可用显存,即在80GB的A100 GPU上节省约25GB的显存,训练吞吐提高最多4倍。
据了解,GMLake前已在PyTorch框架上完成集成,对上层模型代码和框架代码完全透明,也就是说模型不需要修改任何代码即可使用。
目前,GMLake的代码已经开源到了GLake项目中。GLake是蚂蚁集团自研的GPU显存+传输优化开源项目,在训练、推理框架底层以及系统层对显存和传输进行一体优化,更好应对“内存墙”和“传输墙”挑战。(一橙)
也许你还喜欢
微信如何“拍一拍”好友呢?今天就教大家如何操作使用方法步骤。
鹅鸭杀不显示游戏房间、无法加入房间是游戏网络不适合本地网络的原因,鹅鸭杀作为一款海
在我们日常娱乐和日常工作中,我们如果想将FLV格式视频转换为MP4文件该怎么办呢?今天就
验证码图片有些时候不能显示,那我们怎么办呢?下面将为大家讲解关于验证码无法显示的解决
印章,用作印于文件上表示鉴定或签署的文具,一般印章都会先沾上颜料再印上,不沾颜料、印上
今天给大家推荐加密软件排行榜,当然了,根据不同的排行和标准,加密软件排行榜前五名可能有
如何在PPT中制作打字机效果呢?下面就是具体的实现方法。
很多小伙伴都知道百度文库中的很多资料资源下载下来都是需要付费或者是开通会员才能够
怎么用视频水印去除工具给视频去水印呢?我们可以用AE软件来去除,现在我来教大家吧!
清除不使用的应用程序超出了应用程序管理的范围。它可以优化设备的性能并延长电池寿命