華為人工智能模型量化相關(guān)專利公布 可減少AI模型占用的內(nèi)存
2025-02-08 17:14:38 |
探索者 |
188
天眼查App顯示，近日，華為技術(shù)有限公司申請(qǐng)的“人工智能模型的量化方法、處理系統(tǒng)和量化單元”專利公布。
摘要顯示，量化單元可以基于運(yùn)行AI模型的計(jì)算設(shè)備的各個(gè)計(jì)算單元的處理粒度，將量化矩陣分割成多個(gè)適用于各個(gè)計(jì)算單元的處理粒度的分塊量化矩陣。量化單元可以對(duì)分塊量化矩陣進(jìn)行量化處理，以得到量化后的分塊量化矩陣，并存儲(chǔ)在存儲(chǔ)器中，可以減少AI模型占用的內(nèi)存。量化矩陣可以是權(quán)重矩陣，也可以是激活矩陣。量化單元量化過程中，是基于運(yùn)行AI模型的計(jì)算設(shè)備的各個(gè)計(jì)算單元的處理粒度進(jìn)行量化，并不需要基于張量級(jí)別進(jìn)行離群值的統(tǒng)計(jì)，實(shí)現(xiàn)AI模型對(duì)權(quán)重矩陣和激活矩陣都可以進(jìn)行實(shí)時(shí)量化。
特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字、圖片等內(nèi)容的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)發(fā)送相關(guān)信息至bireading@163.com，本站將會(huì)在48小時(shí)內(nèi)處理完畢。
