
新浪科技讯 5月7日晚间音书,新浪科技获悉,腾讯技巧团队针对DeepSeek开源的DeepEP通讯框架进行深度优化,使其在多种集结环境下均终了权贵性能升迁。经测试开云体育(中国)官方网站,优化后的通讯框架性能在RoCE集结环境升迁100%,IB集结环境升迁30%,为企业开展AI大模子覆按提供更高效的处理决策。该技巧决策赢得了DeepSeek公开致谢,称这是一次“huge speedup”代码孝敬。
自本年2月DeepSeek开源包括DeepEP在内的五大代码库以来,该团队便向业界展示了怎样愚弄有限的硬件资源终了接近万卡集群的性能。在这些技巧中,DeepEP凭借冲破性的秩序升迁了300%的通讯成果,得手处理了MoE架构大模子对英伟达NCCL的依赖问题。但该技巧在资本较低、适用面更广的RoCE集结环境中进展欠安,箝制了其在更广大场景的应用。这一痛点激励了开源社区的捏续研究。
据悉,腾讯星脉集结团队在DeepEP开源后便伸开技巧攻关,发现两大枢纽瓶颈:一是关于双端口网卡带宽愚弄率不及,二是CPU箝制面交互存在时延。
在腾讯的技巧优化下,DeepEP不仅在RoCE集结终了性能翻倍,反哺到IB(InfiniBand)集结时更使原有通讯成果再升迁30%。
现在,该技巧已全面开源,并得手应用于腾讯混元大模子等项筹画覆按推理,在腾讯星脉与H20工作器构建的高性能环境中,这套决策展现出出色的通用性。(文猛)
海量资讯、精确解读,尽在新浪财经APP
包袱裁剪:何俊熹 开云体育(中国)官方网站
Powered by 开云·kaiyun体育(中国)官方网站 登录入口 @2013-2022 RSS地图 HTML地图