蘋果推出新API 為Siri屏幕感知功能做好準備
11月5日,據報道,蘋果公司正在為其虛擬助手Siri帶來一項重大升級。作為Apple Intelligence功能集的一部分,蘋果正開發更先進的Siri功能,以便能更智能地處理用戶請求。此次更新包括了一項新API,它允許應用程序將屏幕內容提供給Siri和Apple Intelligence,以增強對屏幕內容的理解和交互能力。
在最新的iOS 18.2測試版中,蘋果推出了名為“App Intent API”的新工具,允許開發者將應用中的屏幕內容提供給Siri。這意味著,用戶可以向Siri提問有關屏幕上內容的問題或請求進行操作,Siri將能夠基于這些信息執行相關任務。例如,用戶可以對Siri說:“嘿Siri,這份文件是關于什么的?”Siri會識別文件內容并給出簡短的摘要。
蘋果的文檔指出,當用戶明確請求時,Siri和Apple Intelligence甚至能夠將內容發送到支持的第三方服務。例如,用戶在瀏覽網頁時,可以通過Siri詢問頁面的關鍵信息,而Siri則會返回一個簡潔的概述。對于涉及照片或文檔(如PDF或演示文稿)的情況,Siri將能夠通過ChatGPT進行集成,提供基于圖像或文檔內容的智能反饋。
隨著iOS 18.2的更新,Siri與ChatGPT的集成顯著增強了語音助手的智能化程度。用戶可以詢問關于照片或文檔的詳細信息。例如,用戶可能會對Siri說:“這張照片里有什么?”Siri將截取屏幕截圖,并將其交給ChatGPT,后者會分析圖像內容并將信息反饋給用戶。同樣的功能也適用于PDF文件或其他文檔,用戶可以問Siri諸如“這份PDF講了些什么?”這樣的問題,Siri會處理并給出詳細解釋。
盡管iOS 18.2已為Siri引入了ChatGPT的集成功能,蘋果還計劃在未來版本中推出更多的智能助手功能。屏幕感知是蘋果正在開發的一項重要功能,它將使Siri能夠理解屏幕上的內容并執行相應的操作。例如,當用戶收到一個地址信息時,Siri將能夠識別該地址并將其添加到聯系人卡片中。盡管這一功能目前尚不可用,但它預計將在iOS 18.4版本中推出,并預計于2025年春季發布。
馬克·古爾曼(Mark Gurman)曾表示,蘋果計劃將這些先進功能在iOS 18中逐步推出,給開發者幾個月的準備時間,以確保他們可以為這些新功能做好準備。