低能耗低時耗，中科院&香港大學團隊使用新方法進行多任務學習的可穿戴感測器內儲層計算

感測器內多任務學習不僅是生物視覺的關鍵優點，也是人工智慧的主要目標。然而，傳統的矽視覺晶片存在大量時間以及能量開銷。此外，訓練傳統的深度學習模式在邊緣設備上既不可擴展也不可負擔。

在這裡，中科院和香港大學的研究團隊提出了一種材料演算法協同設計來模擬人類視網膜的學習範例，並且低開銷。基於具有有效激子解離和貫穿空間電荷傳輸特性的瓶刷形半導體p-NDI，開發了一種基於可穿戴晶體管的動態感測器儲層計算系統，該系統在不同任務上表現出優異的可分離性、衰減記憶和回波狀態特性。

與憶阻有機二極體上的「讀出功能」結合，RC 可識別手寫字母和數字，並對各種服裝進行分類，準確率分別為98.04%、 88.18% 和91.76%（高於所有已報告的有機半導體）。

除了二維影像，RC 的時空動態自然地提取基於事件的影片的特徵，以 98.62% 的準確率對 3 種類型的手勢進行分類。此外，計算成本明顯低於傳統的人工神經網路。這項工作為經濟實惠且高效的光子神經形態系統提供了一個有前途的材料演算法協同設計。

研究以「Wearable in-sensor reservoir computing using optoelectronic polymers with through-space charge-transport characteristics for multi-task learning」為題，於2023年1 月28 日發佈在《Nature Communications》。

人類視網膜不僅可以感知，還可以透過收集豐富的動態訊號同時處理光訊號，從而加速下游視覺皮質中任務相關的學習。視網膜和視覺皮層的協同作用是大腦高效、緊湊和快速學習多任務處理能力的基礎，也是通用人工智慧 (AGI) 的基本目標。

相較之下，具有物理分離的感測、處理和儲存單元的傳統矽視覺晶片會因這些單元之間大量且頻繁的資料穿梭而產生大量時間和能量開銷，以及順序模數轉換，這是潛在能源效率的基本限制。摩爾定律的放緩進一步加劇了這種情況。此外，傳統深度學習模型中的學習，例如時間信號的遞歸神經網絡，在非常具體的任務上採用乏味的訓練（例如，通過時間反向傳播的梯度下降，BPTT），這在電池接入和外形尺寸有限的邊緣設備上既不可擴展也負擔不起。

人們付出了巨大的努力來模擬人類視網膜和負擔得起的學習範式。材料方面，無機光響應二維半導體，例如具有缺陷和雜質位點的MoS2、具有與Sn 和S 相關的雙型缺陷態的SnS、層狀含黑磷的氧化相關缺陷、表現出強烈光控效應的鈣鈦礦量子點、能夠捕獲和釋放電子的h-BN/WSe2 異質結構和表現出價態變化的MoOx 是人工視網膜應用最廣泛的材料。另外，具有內在生物相容性、可穿戴性和可擴展性的有機半導體，如PDVT-10、摻雜葉綠素的PDPP4T 和並五苯/絲和CDs 雙層，以更忠實的方式模擬了生物對應物。

在演算法方面，儲層運算(RC) 透過收集固定動態系統的衰落記憶將時間訊號非線性地投射到特徵空間，被認為是一種有前途的邊緣學習解決方案。由於 RC 的學習僅限於長期記憶的讀出層，因此與傳統的深度學習模型相比，訓練成本顯著降低。然而，它仍然沒有設計出一種配對的材料演算法來結合高效的人工視網膜和負擔得起的基於 RC 的邊緣學習，從而釋放仿生神經形態視覺的多任務潛力。

圖示：傳統半導體和p-NDI 的光電流響應比較，以及感測器內RC 系統的詳細半導體設計原理。 （來源：論文）

#

在這裡，中科院和香港大學的研究人員提出了一種材料演算法協同設計，一種具有高效激子解離和全空間電荷傳輸特性的光響應半導體聚合物(p-NDI) ，以建構用於多任務模式分類的感測器內RC。靈活的神經形態設備是基於具有 p-NDI 半導體通道的三端電晶體。由於其出色的光響應行為和非線性衰落記憶，該設備能夠同時就地感知、記憶和預處理光學輸入（即對比度增強和降噪）。

圖示：多任務分類效能。 （資料來源：論文）

此外，聚合物中激子解離/電荷複合動力學、光選通效應和貫穿空間電荷傳輸特性之間的協同作用使得基於電晶體的動態RC系統在不同任務上表現出優異的可分離性、衰減記憶和回波狀態特性。這些基於 RC 的視網膜與在憶阻有機離子凝膠二極體上實現的「讀出功能」配對。

所有有機光電材料提供的訊號預處理和動態RC的協同功能，在識別手寫字母和數字以及對各種服裝進行分類方面的準確率，分別達到98.04% 、88.18% 和91.76%，這意味著服裝風格和尺寸的多任務學習。系統的整體準確率為 88.00%，不僅可以正確識別衣服，還可以正確識別衣服的尺寸。儘管是 2D 影像，但 RC 的時空動態被用來對左手揮手、右手揮手和拍手手勢的基於事件的影片進行分類，準確率為 98.62%。

圖示：使用 DVSGesture128 資料集進行基於事件的影片分類。 （資料來源：論文）

不過，這種基於p-NDI 電晶體的RC 不含突觸有機電化學電晶體中廣泛使用的液體電解質，從而增強了可擴展性和可操作性。這項工作為具有多任務學習能力的可穿戴、價格合理且高效的光子神經形態系統提供了一種有前途的材料-演算法協同設計策略。

論文連結：https://www.nature.com/articles/s41467-023-36205-9

#

以上是低能耗低時耗，中科院&香港大學團隊使用新方法進行多任務學習的可穿戴感測器內儲層計算的詳細內容。更多資訊請關注PHP中文網其他相關文章！