近日，有科技媒體報道谷歌公司基于谷歌數(shù)據(jù)共享（Data Commons）中的真實世界統(tǒng)計數(shù)據(jù)，推出了開放權(quán)重 Gemma 模型的新版本  DataGemma。

據(jù)報道，谷歌的 Data Commons 是一個存儲庫，匯集了來自聯(lián)合國和疾病控制與預(yù)防中心等可信組織收集的超過 2400 億個數(shù)據(jù)點。 通過利用這一龐大的統(tǒng)計數(shù)據(jù)集，基于 Gemini 的 DataGemma 能夠顯著提升模型準(zhǔn)確性，確保其輸出基于真實可信的現(xiàn)實世界信息。

對于語言模型當(dāng)前面臨的一大難題就是幻覺（Hallucinations），尤其是大語言模型（LLMs）在處理數(shù)值或統(tǒng)計數(shù)據(jù)時，這一問題變得尤為棘手，因此精確性至關(guān)重要。DataGemma 方法的核心在于兩種關(guān)鍵技術(shù)：檢索交錯生成（RIG）和檢索增強生成（RAG）。這兩種方法通過在生成過程中將模型基于現(xiàn)實世界數(shù)據(jù)，從而減少幻覺現(xiàn)象。

檢索交錯生成（RIG）通過主動查詢可信來源，再生成回答的方式運作。在接收到提示詞之后，DataGemma 會識別查詢中的統(tǒng)計數(shù)據(jù)點，并從數(shù)據(jù)共享平臺獲取準(zhǔn)確信息。例如，若被問及“全球可再生能源的使用量是否有所增加？”，該模型會在回答中穿插實時統(tǒng)計數(shù)據(jù)，確保事實準(zhǔn)確性。

檢索增強生成（RAG）在生成回答之前，會從數(shù)據(jù)共享平臺檢索相關(guān)信息，進一步提升了回答的質(zhì)量。借助其長上下文窗口（由 Gemini 1.5 Pro 實現(xiàn)），DataGemma 確保了回答的全面性，引入了表格和腳注以提供更深層次的上下文，從而減少了虛構(gòu)內(nèi)容的出現(xiàn)。

據(jù)報道，谷歌對 RIG 和 RAG 的研究尚處于初期階段，研究團隊已發(fā)表論文詳述其方法，強調(diào)這些技術(shù)如何幫助 LLMs 判斷何時依賴外部數(shù)據(jù)與內(nèi)部參數(shù)。