英偉達(dá)推出了一款新的聊天機(jī)器人應(yīng)用程序，名為“Chat with RTX”，它可以讓用戶在不聯(lián)網(wǎng)的情況下，利用自己的RTX GPU來查詢和生成文本。這款應(yīng)用程序使用了 TensorRT-LLM 技術(shù)，可以在本地處理各種文件格式，甚至 YouTube 視頻的轉(zhuǎn)錄。用戶可以通過簡(jiǎn)單的查詢，獲得基于特定數(shù)據(jù)集的文本生成結(jié)果，例如摘要、關(guān)鍵詞或段落。這款應(yīng)用程序適用于所有具有至少 8 GB顯存的GeForce RTX 30和40 GPU。

英偉達(dá)表示，這款應(yīng)用程序是為了滿足用戶對(duì)隱私和效率的需求而開發(fā)的。使用Chat with RTX，用戶不需要將自己的數(shù)據(jù)上傳到云端，也不需要等待網(wǎng)絡(luò)延遲或服務(wù)器響應(yīng)。所有的計(jì)算都在用戶的GPU上完成，速度快且準(zhǔn)確。此外，TensorRT-LLM技術(shù)還可以根據(jù)用戶的數(shù)據(jù)集自動(dòng)調(diào)整模型參數(shù)，以提高生成質(zhì)量和多樣性。

英偉達(dá)還宣布，將于本月晚些時(shí)候發(fā)布TensorRT-LLM v0.6.0版本，該版本將性能提升5 倍，并支持更多的LLM模型，如Mistral 7B和Nemotron 3 8B。這些模型可以處理更大的詞匯表和更長(zhǎng)的序列，從而提供更豐富和更深入的文本生成結(jié)果。

據(jù)鉍讀網(wǎng)了解，Chat with RTX是一款創(chuàng)新和實(shí)用的聊天機(jī)器人應(yīng)用程序，它可以讓用戶充分利用自己的 RTX GPU 的強(qiáng)大功能。如果你想嘗試這款應(yīng)用程序，你可以從英偉達(dá)官網(wǎng)下載它，并開始與你的數(shù)據(jù)集對(duì)話。