電腦視覺技術即將迎來重大轉變

電腦視覺是否會再次自我改造？

匹茲堡大學眼科教授、CMU 機器人研究所兼任教授 Ryad Benosman 認為確實如此。作為基於事件的視覺技術的創始人之一，Benosman 預計神經形態視覺——基於基於事件的相機的電腦視覺——將成為電腦視覺的下一個方向。

「電腦視覺已經被重新發明了很多很多次，」 Benosman 說。 「我已經看到它至少重新發明了兩次。」

Benosman 提到了1990 年代從帶有一點攝影測量的圖像處理到基於幾何的方法的轉變，然後是今天機器學習的快速發展。儘管發生了這些變化，現代電腦視覺技術仍然主要基於影像感測器——產生類似於人眼所見影像的相機。

根據 Benosman 的說法，在圖像感測範式不再有用之前，它會阻礙替代技術的創新。高效能處理器（例如 GPU）的發展推遲了尋找替代解決方案的需要，因此延長了這種影響。

「我們為什麼將圖像用於電腦視覺？這是一個價值百萬美元的問題，」他說。 「我們沒有理由使用圖像——這只是因為歷史的動力。甚至在沒有相機之前，圖像就有動力。」

圖像相機

自從公元前五世紀針孔相機出現以來，影像相機就一直存在到1500 年代，藝術家們使用房間大小的設備將房間外的人或風景的圖像追蹤到畫布上。多年來，這些畫被替換為膠片來記錄影像。數位攝影等創新最終使影像相機很容易成為現代電腦視覺技術的基礎。

然而，Benosman 認為，基於影像相機的電腦視覺技術效率極低。他的比喻是中世紀城堡的防禦系統：位於城牆周圍的衛兵四處尋找接近的敵人。鼓手穩定地敲打，每一個鼓點，每個守衛都會大聲喊出他們所看到的。在一片喧嘩中，聽到一個守衛在遙遠的森林邊緣發現敵人是多麼容易？

21 世紀的鼓點硬體等價物是電子時脈訊號，而守衛是像素。大量數據被創建並且必須在每個時鐘週期進行檢查，這會導致大量冗餘信息，從而需要大量不必要的計算。

「人們正在燃燒如此多的能量，它佔據了城堡的整個運算能力來保護自己，」 Benosman 說。如果發現了一個有趣的事件——在這個類比中以敵人為代表——「你必須四處走動收集無用的信息，人們到處尖叫，所以頻寬很大……現在想像你有一座複雜的城堡。所有這些人都必須被聽見。」

進入神經形態視覺。基本思想受到生物系統工作方式的啟發，即檢測場景動態的變化，而不是連續分析整個場景。在我們的城堡類比中，這意味著讓守衛保持安靜，直到他們看到感興趣的東西，然後喊出他們的位置以發出警報。在電子版中，這意味著讓單一像素確定他們是否看到相關的東西。

「像素可以自行決定他們應該發送什麼訊息，」 Benosman 說。

「他們可以尋找有意義的資訊——特徵，而不是獲取系統資訊。這就是與眾不同的地方。」

##Prophesee 與索尼合作開發的DVS 感測器評估套件。 Benosman 是 Prophesee 的共同創辦人。

與固定頻率的系統擷取相比，這種基於事件的方法可以節省大量功率並減少延遲。

「你想要一些更具適應性的東西，這就是[基於事件的視覺]的相對變化給你的東西——適應性採集頻率，」他說。 「當你觀察幅度變化時，如果某些東西移動得非常快，我們就會得到很多樣本。如果某些東西沒有改變，你會得到幾乎為零，所以你正在根據場景的動態調整你的採集頻率。這就是它帶來的東西。這就是為什麼它是一個好的設計。」

Benosman 於2000 年進入神經形態視覺領域，他堅信先進的電腦視覺永遠無法發揮作用，因為圖像不是正確的方法。

「最大的轉變是說我們可以在沒有灰階和沒有影像的情況下進行視覺，這在 2000 年底是異端——完全是異端，」他說。

Benosman 提出的技術——今天基於事件的感測的基礎——是如此不同，以至於提交給當時最重要的 IEEE 電腦視覺期刊的論文在未經審查的情況下被拒絕。事實上，直到 2008 年動態視覺感測器 (DVS) 的開發，該技術才開始獲得動力。

神經科學靈感

神經形態技術是受生物系統啟發的技術，包括終極電腦：大腦及其神經元，或計算元素。問題是沒有人完全理解神經元是如何運作的。雖然我們知道神經元對傳入的稱為尖峰的電訊號起作用，但直到最近，研究人員仍將神經元描述為相當草率，認為只有尖峰的數量很重要。這個假設持續了幾十年，但最近的工作證明，這些尖峰的時間是絕對關鍵的，並且大腦的結構會在這些尖峰中產生延遲來編碼訊息。

今天的尖峰神經網路模擬大腦中看到的尖峰訊號，是真實事物的簡化版本——通常是尖峰的二進位表示。 「我收到一個 1，我醒來，我計算，我睡覺，」Benosman 解釋說。現實要複雜得多。當尖峰到來時，神經元開始隨著時間的推移對尖峰的值進行積分；神經元也有洩漏，這意味著結果是動態的。此外，大約有 50 種不同類型的神經元具有 50 種不同的整合式設定檔。

目前的電子版本缺少整合的動態路徑、神經元之間的連接性以及不同的權重和延遲。 「問題在於，要製造出有效的產品，你不能[模仿]所有的複雜性，因為我們不理解它，」他說。 「如果我們有好的大腦理論，我們就會解決它。問題是，我們只是不知道。」

Bensoman 經營著一個獨特的實驗室，致力於了解皮層計算背後的數學原理，旨在創建新的數學模型並將其複製為矽設備。這包括直接監測來自真實視網膜的尖峰。

目前， Bensoman反對忠實複製生物神經元，稱這種方法是過時的。

「在矽中複製神經元的想法的產生是因為人們觀察了晶體管並看到了一個看起來像真正神經元的機制，所以一開始它背後有一些想法，」他說。 「我們沒有細胞；我們有矽。你需要適應你的計算基板，而不是相反……如果我知道我在計算什麼並且我有晶片，我可以優化這個方程式並以最低的成本、最低的功耗、最低的延遲運行它。」

處理能力

無需精確複製神經元這一認識以及DVS 相機的發展是當今視覺系統背後的驅動力。雖然系統已經上市，但在完全類似人類的視覺可用於商業用途之前，還需要取得進展。

Benosman 說，最初的 DVS 相機具有“大而粗的像素”，因為光電二極體本身周圍的組件大大降低了填充因子。雖然對開發這些攝影機的投資加速了這項技術，但貝諾斯曼明確表示，今天的事件攝影機只是對早在 2000 年開發的原始研究設備的改進。索尼最先進的 DVS 攝影機，三星和 Omnivision 擁有微小的像素，融合了 3D 堆疊等先進技術並降低了雜訊。 Benosman 擔心的是今天使用的感測器類型能否成功擴大規模。

「問題是，一旦你增加像素數量，你就會得到大量數據，因為你的速度仍然非常快，」他說。 「你可能仍然可以即時處理它，但你會從太多的像素中得到太多的相對變化。這現在正在殺死所有人，因為他們看到了潛力，但他們沒有合適的處理器來支持它。 ”

這個Prophesee 客戶應用範例顯示了影像攝影機（每個框的左上角）和DVS 感測器輸出之間的差異。

通用神經形態處理器落後於 DVS 相機對應物。一些業內最大的參與者（IBM Truenorth、英特爾 Loihi）的努力仍在進行中。 Benosman 表示，正確的處理器和正確的感測器將是無與倫比的組合。

「[今天的 DVS] 感測器速度極快，頻寬超低，動態範圍大，因此您可以在室內和室外看到，」Benosman 說。 「這是未來。它會起飛嗎？絕對地。」

「誰能把處理器放在那裡並提供完整的堆疊，誰就贏了，因為它將是無與倫比的，」他補充道。

以上是電腦視覺技術即將迎來重大轉變的詳細內容。更多資訊請關注PHP中文網其他相關文章！