免費的AI搜索引擎無法索引Reddit內容
Reddit最近宣布阻止未經授權的數據抓取,引發了人們對人工智能技術在這一平臺上的影響的廣泛討論。這一變化已經生效,影響不僅限于人工智能聊天機器人制造商,還包括其他搜索引擎和瀏覽器。
Reddit的決定意味著除了谷歌之外的主要搜索引擎,如Brave和Bing,也受到了屏蔽。據報道,谷歌與Reddit簽署了一項每年價值6000萬美元的協議,使其成為唯一被允許從Reddit抓取數據并生成搜索結果的搜索引擎。然而,Reddit的發言人告訴Engadget,其他搜索引擎未能達成與Reddit關于人工智能數據訓練的協議,因此被阻止訪問其內容。
具體來說,Bing的排除據稱是因為微軟拒絕接受Reddit關于人工智能數據使用的特定條款,這與Reddit的數據隱私政策存在沖突。與此同時,DuckDuckGo等搜索引擎嘗試搜索Reddit時,只能生成空白結果或僅顯示一條簡短的注釋,說明該網站不允許抓取其數據。
Reddit采取這一舉措的背景是其更新了robots.txt文件,以阻止未經授權的自動數據抓取。盡管這一文件是網絡標準,指示哪些部分可以抓取,但許多抓取工具會忽略這些指令,而谷歌則嚴格遵守這一規定。因此,谷歌作為唯一被允許抓取Reddit數據的搜索引擎,顯示出了其在這一市場中的競爭優勢和技術控制能力。
這一事件反映了在人工智能快速發展的背景下,Reddit在保護其數據不被未經授權的抓取方面的決心。盡管這一決定可能引起一些搜索引擎和開發者的不滿,Reddit似乎是為了確保其數據安全性和使用合法性而做出的犧牲。