清華大學(xué)在類腦視覺感知芯片領(lǐng)域取得重大突破

中國教育報(bào)-中國教育新聞網(wǎng)訊（記者 董魯皖龍）在開放世界中，智能系統(tǒng)不僅要處理龐大的數(shù)據(jù)量，還需要應(yīng)對各種極端事件。傳統(tǒng)視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應(yīng)對這些場景時(shí)往往面臨失真、失效或高延遲的問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。對此，清華大學(xué)精密儀器系類腦計(jì)算研究團(tuán)隊(duì)聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。基于這一新范式，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，在極低的帶寬（降低90%）和功耗代價(jià)下，實(shí)現(xiàn)了每秒10000幀的高速、10bit的高精度、130dB的高動(dòng)態(tài)范圍的視覺信息采集。近日，基于該研究成果的論文《面向開放世界感知、具有互補(bǔ)通路的視覺芯片》作為封面文章，登上2024年5月30日的Nature。這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后，第二次登上Nature封面，標(biāo)志著我國在類腦計(jì)算和類腦感知兩個(gè)重要方向上均取得了基礎(chǔ)性突破。

團(tuán)隊(duì)相關(guān)負(fù)責(zé)人介紹，“天眸芯”不僅突破了傳統(tǒng)視覺感知范式的性能瓶頸，而且能夠高效應(yīng)對各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。基于“天眸芯”，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。在多種極端場景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的巨大應(yīng)用潛力。

“天眸芯”的成功研制無疑是智能感知芯片領(lǐng)域的一個(gè)重大突破。它不僅為智能革命的發(fā)展提供了一個(gè)強(qiáng)大的技術(shù)支持，還為自動(dòng)駕駛、具身智能等重要應(yīng)用開辟了新的道路。結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人等方面已應(yīng)用落地的技術(shù)積累，“天眸芯”的加入將進(jìn)一步完善類腦智能生態(tài)，有力地推動(dòng)人工通用智能的發(fā)展。

論文通訊作者為清華大學(xué)精密儀器系施路平教授和趙蓉教授，精密儀器系博士楊哲宇（現(xiàn)為北京靈汐科技有限公司研發(fā)經(jīng)理）、精密儀器系博士生王韜毅、林逸晗為論文的共同第一作者。清華大學(xué)為論文第一單位，合作單位包括北京靈汐科技有限公司。

這項(xiàng)研究得到了科技部科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大項(xiàng)目和自然基金委的支持，也得到了清華大學(xué)/IDG-麥戈文腦科學(xué)研究院的支持。