英偉達(dá)推出TensorRT for RTX GeForce顯卡AI推理性能翻倍
5月20日,英偉達(dá)今日宣布推出NVIDIA TensorRT for RTX,全面支持Windows 11系統(tǒng),為GeForce RTX全系顯卡提供高性能AI推理加速框架。據(jù)官方數(shù)據(jù),該框架的推理速度可達(dá)微軟DirectML方案的兩倍,顯著提升生成式AI、視頻處理等應(yīng)用的效率。該更新預(yù)計(jì)于6月通過英偉達(dá)開發(fā)者官網(wǎng)正式推送。
TensorRT for RTX通過深度優(yōu)化RTX顯卡的Tensor Core和CUDA核心,實(shí)現(xiàn)了顯著的性能飛躍: 在流行的AI工作流工具ComfyUI中,推理性能較DirectML提升100%;其他AI應(yīng)用的性能提升達(dá)1.5~1.7倍;支持即時(shí)GPU專屬優(yōu)化,推理庫文件體積縮減至原有的1/8,節(jié)省存儲(chǔ)空間并加快加載速度。
英偉達(dá)強(qiáng)調(diào),TensorRT for RTX原生兼容Windows ML框架,并通過ONNX Runtime與硬件廠商的AI執(zhí)行層協(xié)同工作。當(dāng)檢測(cè)到RTX顯卡時(shí),Windows ML將自動(dòng)調(diào)用TensorRT優(yōu)化庫,無需開發(fā)者手動(dòng)適配。這一設(shè)計(jì)解決了AI PC生態(tài)中“廣泛兼容性”與“極致性能”難以兼顧的痛點(diǎn)。
目前,英偉達(dá)已為超過150個(gè)AI開發(fā)工具包(SDK)提供支持,并計(jì)劃在本月新增5項(xiàng)ISV(獨(dú)立軟件供應(yīng)商)集成,包括:
1. LM Studio:CUDA優(yōu)化后性能提升30%;
2. Topaz Video AI:生成式AI視頻加速;
3. 嗶哩嗶哩:支持NVIDIA Broadcast特效;
4. AutoDesk VRED & Chaos Enscape:均新增DLSS 4支持,優(yōu)化3D渲染效率。
英偉達(dá)在聲明中表示:“TensorRT for RTX的推出,讓開發(fā)者無需在硬件兼容性與性能之間妥協(xié)。RTX顯卡用戶將直接獲得專業(yè)級(jí)的AI加速體驗(yàn)。”此舉進(jìn)一步鞏固了英偉達(dá)在消費(fèi)級(jí)GPU市場(chǎng)的技術(shù)優(yōu)勢(shì),同時(shí)也為即將到來的下一代AI應(yīng)用鋪平道路。