清華大學科學家研制出世界首款類腦互補視覺芯片“天眸芯”
5月30日,據報道,清華大學依托精密儀器系的類腦計算研究中心施路平教授團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式,并據此研制出了世界首款類腦互補視覺芯片“天眸芯”,實現了高速、高精度、高動態范圍的視覺信息采集,突破了傳統視覺感知芯在穩定性和安全性等方面的性能瓶頸。
今日,這項成果以《面向開放世界感知的類腦互補視覺芯片》 為題作為封面文章發表于頂級學術期刊《自然》上。官方表示,傳統視覺感知芯片受“功耗墻”和“帶寬墻”的限制,在應對突發意外場景時往往面臨失真、失效或高延遲等問題,嚴重影響了系統的穩定性和安全性。
據報道,為了克服這些挑戰,清華大學精密儀器系類腦計算研究團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。該范式借鑒了人類視覺系統的基本原理,將開放世界的視覺信息拆解為基于視覺原語的信息表示,并通過有機組合這些原語,模仿人視覺系統的特征,形成兩條優勢互補、信息完備的視覺感知通路。
基于這一新范式,團隊進一步研制出了世界首款類腦互補視覺芯片“天眸芯”,在極低的帶寬(降低 90%)和功耗代價下,實現了每秒 10000 幀的高速、10bit 的高精度、130dB 的高動態范圍的視覺信息采集。
基于“天眸芯”,團隊還自主研發了高性能軟件和算法,并在開放環境車載平臺上進行了性能驗證。在多種極端場景下,該系統實現了低延遲、高性能的實時感知推理,展現了其在智能無人系統領域的應用潛力。
值得一提的是,這是該團隊繼異構融合類腦計算“天機芯”后,第二次登上《自然》封面,標志著我國在類腦計算和類腦感知兩個重要方向上均取得了基礎性突破。