微軟發布新工具 可檢測和糾正 AI 幻覺內容
近日,有媒體報道,微軟以預覽版的形式,在 Azure AI Content Safety 中推出 Groundedness Detection,用于“糾正” AI 幻覺。
在人工智能領域中,幻覺是由人工智能生成的一種回應,它含有貌似事實的虛假或誤導性資訊。該術語源自幻覺的心理學概念,因為它們具有相似的特征。人工智能幻覺的危險之處之一是模型的輸出看起來是正確的,而它實際上是錯誤的。
微軟的 Groundedness Detection 類似于谷歌在 Vertex AI 中推出的 Google Search Grounding,主要對比 AI 輸出內容和源文件,從而識別沒有證據或者幻覺內容。微軟強調,雖然該工具提高了人工智能輸出的可靠性,但并不能保證完全準確,只是能提高生成內容與源材料之間的一致性。
當系統檢測到一個支持不足的句子時,就會觸發一個新的請求,要求一個較小的人工智能模型進行修正,該模型會根據基礎文檔對句子進行評估。如果一個句子不包含基礎文檔中的相關信息,它就會被完全過濾掉。對于包含一些相關內容的句子,模型會對其進行改寫,匹配源材料。