近日，清華大學(xué)在類腦視覺(jué)感知芯片領(lǐng)域取得重要突破：
清華大學(xué)依托精密儀器系的類腦計(jì)算研究中心施路平教授團(tuán)隊(duì)，提出一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式，研制出世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”。基于該研究成果的論文《面向開(kāi)放世界感知、具有互補(bǔ)通路的視覺(jué)芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）作為封面文章，登上5月30日的《自然》雜志。
這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后第二次登上 《自然》 雜志封面，標(biāo)志著在類腦計(jì)算和類腦感知兩個(gè)方向上均取得重要突破。
這一成果與我們的日常生活有哪些關(guān)系？據(jù)介紹，隨著人工智能的飛速發(fā)展，無(wú)人駕駛和具身智能等無(wú)人系統(tǒng)在現(xiàn)實(shí)社會(huì)中不斷推廣應(yīng)用，其中，視覺(jué)感知作為獲取信息的關(guān)鍵途徑，發(fā)揮著至關(guān)重要的作用。然而，在復(fù)雜多變且不可預(yù)測(cè)的環(huán)境中，實(shí)現(xiàn)高效、精確且魯棒的視覺(jué)感知依然是一個(gè)艱巨的挑戰(zhàn)。
在開(kāi)放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對(duì)各種極端事件，如駕駛中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化、夜間強(qiáng)閃光干擾等。傳統(tǒng)視覺(jué)感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應(yīng)對(duì)這些場(chǎng)景時(shí)往往面臨失真、失效或高延遲的問(wèn)題，嚴(yán)重影響系統(tǒng)的穩(wěn)定性和安全性。
為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計(jì)算研究團(tuán)隊(duì)聚焦類腦視覺(jué)感知芯片技術(shù)，提出了一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類腦視覺(jué)感知新范式。該范式借鑒了人類視覺(jué)系統(tǒng)的基本原理，將開(kāi)放世界的視覺(jué)信息拆解為基于視覺(jué)原語(yǔ)的信息表示，并通過(guò)有機(jī)組合這些原語(yǔ)，模仿人視覺(jué)系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路。
基于這一新范式，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺(jué)芯片“天眸芯”，在極低的帶寬和功耗代價(jià)下，實(shí)現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動(dòng)態(tài)范圍的視覺(jué)信息采集，不僅突破了傳統(tǒng)視覺(jué)感知范式的性能瓶頸，而且能夠高效應(yīng)對(duì)各種極端場(chǎng)景，確保系統(tǒng)的穩(wěn)定性和安全性。
基于“天眸芯”，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法，并在開(kāi)放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無(wú)人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。
自動(dòng)駕駛感知演示平臺(tái)
圖為研究團(tuán)隊(duì)（張兆基攝）
