DeepSeek發(fā)布并行優(yōu)化策略開源
2025-02-28 21:41:02 |
弘樂 |
142
DeepSeek開源周第四日，DeepSeek宣布開源了公司內(nèi)部的并行優(yōu)化策略（Optimized Parallelism Strategies）。此次開源，DeepSeek分別發(fā)布了DualPipe雙向管道并行算法和EPLB專家并行負(fù)載均衡器。據(jù)DeepSeek介紹，DualPipe是一項(xiàng)在DeepSeek-V3技術(shù)報(bào)告中引入的雙向管道等值算法，它實(shí)現(xiàn)了向后和向后計(jì)算通信階段的完全重疊，還減少了管道氣泡。據(jù)天眼查數(shù)據(jù)顯示，在GitHub上，目前該算法已經(jīng)獲得544個(gè)Star收藏。
特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字、圖片等內(nèi)容的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)發(fā)送相關(guān)信息至bireading@163.com，本站將會(huì)在48小時(shí)內(nèi)處理完畢。
