8月23日，據(jù)報(bào)道，英偉達(dá)發(fā)布了一篇博文，正式推出了 Mistral-NeMo-Minitron 8B 小語言 AI 模型。這款新模型具有高精度和高計(jì)算效率的特點(diǎn)，能夠在英偉達(dá) GPU 加速的數(shù)據(jù)中心、云端環(huán)境以及配備 RTX 顯卡的工作站上運(yùn)行，為開發(fā)者和企業(yè)提供了一種靈活且強(qiáng)大的 AI 解決方案。

Mistral-NeMo-Minitron 8B 是英偉達(dá)與 Mistral AI 合作開發(fā)的一款小型語言模型，基于此前發(fā)布的 Mistral NeMo 12B 模型。新模型共擁有 80 億參數(shù)，通過精細(xì)的剪枝和知識(shí)蒸餾技術(shù)進(jìn)行優(yōu)化，從而在模型精度和效率之間取得了良好的平衡。

1. 寬度剪枝（Width-Pruning）： 英偉達(dá)通過剪枝技術(shù)來減小模型規(guī)模，去除對(duì)準(zhǔn)確率貢獻(xiàn)最小的權(quán)重，從而縮小了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。剪枝不僅減少了參數(shù)數(shù)量，還提高了計(jì)算效率，使得模型能夠在更小的計(jì)算資源上高效運(yùn)行。

2. 知識(shí)蒸餾（Knowledge Distillation）：在剪枝后，研究團(tuán)隊(duì)對(duì)模型進(jìn)行了輕度重新訓(xùn)練，以恢復(fù)和提升剪枝過程中可能降低的準(zhǔn)確率。這種重新訓(xùn)練使用了一個(gè)小型數(shù)據(jù)集，使得模型在保持小規(guī)模的同時(shí)，仍然能夠提供卓越的性能。

Mistral-NeMo-Minitron 8B 在語言模型的九項(xiàng)流行基準(zhǔn)測(cè)試中表現(xiàn)出色。這些基準(zhǔn)測(cè)試包括語言理解、常識(shí)推理、數(shù)學(xué)推理、文本總結(jié)、代碼生成以及生成真實(shí)答案的能力。這使得 Mistral-NeMo-Minitron 8B 成為一個(gè)多功能的 AI 模型，可以廣泛應(yīng)用于多個(gè)行業(yè)的不同任務(wù)。

新模型的設(shè)計(jì)使其能夠在多種硬件平臺(tái)上高效運(yùn)行，包括搭載英偉達(dá) RTX 顯卡的工作站。這意味著開發(fā)者和企業(yè)不僅可以在大型數(shù)據(jù)中心或云環(huán)境中部署模型，還可以利用現(xiàn)有的 RTX 工作站進(jìn)行開發(fā)和測(cè)試，降低了部署門檻。