騰訊發布星脈網絡2.0 大模型訓練效率相比上代提升 20%
2024-07-02 10:38:35 |
唐薇 |
496
7月2日，據報道，騰訊發布其自研星脈網絡 2.0 版本，升級后的星脈網絡支持單集群 10 萬卡組網，網絡通信效率比上一代提升 60%，大模型訓練效率提升 20%，故障定位從天級降低至分鐘級。
騰訊自研交換機從 25.6T 升級到 51.2T，容量提升一倍；自研硅光模塊從 200G 升級到 400G，速率提升一倍；搭載自研算力網卡；整機通信帶寬 3.2T，為業界最高。
騰訊自研全新通信協議 TiTa2.0 的部署位置從交換機轉移到了網卡上，擁塞算法也從被動擁塞算法升級為主動擁塞控制算法，將星脈網絡的通信效率提升 30%，讓大模型的訓練效率提升 10%。
騰訊全新高性能集合通信庫 TCCL2.0 采用 NVLINK+NET 異構并行通信，實現數據的并行傳輸。Auto-Tune Network Expert 自適應算法可以根據機型、網絡規模、模型算法等差異，自動調整數據包分割大小、匹配算法等參數。星脈網絡通信性能提升 30%，讓大模型的訓練效率再提升 10%。
TiTa 與 TCCL 升級帶來的效果疊加，讓星脈網絡的通信效率共提升 60%，大模型訓練效率共提升 20%。
特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字、圖片等內容的真實性、完整性、及時性本站不作任何保證或承諾，請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時發送相關信息至bireading@163.com，本站將會在48小時內處理完畢。
