本月初,來自 MIT 等機構的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。
KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。
KAN 與 MLP 一樣具有強大的數學基礎,MLP 基於通用逼近定理,而 KAN 基於 Kolmogorov-Arnold 表示定理。
如下圖所示,KAN 在邊上具有激活函數,而 MLP 在節點上具有激活函數。 KAN 似乎比 MLP 的參數效率更高,但每個 KAN 層比 MLP 層擁有更多的參數。 圖片: [圖1:示意圖] 簡要解釋: KAN 是一種基於邊的神經網路結構,每個節點都有邊的權重和活化函數。它透過邊的傳播來實現訊息的傳遞和更新。 MLP 是一種基於節點的神經網路結構,每個節點都有輸入的
最近,有研究者將KAN 創新框架的概念擴展到卷積神經網絡,將卷積的經典線性變換改為每個像素中可學習的非線性激活函數,提出並開源KAN 卷積(CKAN)。
計畫地址:https://github.com/AntonioTepsich/Convolutional-KANs
KAN卷積
KAN 卷積與卷積非常相似,但不是在內核和影像中對應像素之間應用點積,而是對每個元素應用可學習的非線性激活函數,然後將它們相加。 KAN 卷積的內核當於 4 個輸入和 1 個輸出神經元的 KAN 線性層。對於每個輸入 i,應用 ϕ_i 可學習函數,該卷積步驟的結果像素是 ϕ_i (x_i) 的總和。
KAN 磁碟區中的參數
假設有一個KxK 內核,對於該矩陣的每個元素,都有一個ϕ,其參數計數為:gridsize 1,ϕ 定義為:
##這為激活函數b 提供了更多的可表達性,線性層的參數計數為gridsize 2。因此,KAN 卷積總共有 K^2(gridsize 2) 個參數,而普通卷積只有 K^2。
初步評估
作者測試過的不同架構有:
- 連接到KAN 線性層的KAN 卷積層(KKAN)
- 與MLP 相連的KAN 卷積層(CKAN)
- 在卷積之間進行批量歸一化的CKAN (CKAN_BN)
- ConvNet(連接到MLP 的經典卷積)(ConvNet)
- 簡單MLP
作者表示,KAN 卷積的實作是一個很有前景的想法,儘管它仍處於早期階段。他們進行了一些初步實驗,以評估 KAN 卷積的表現。
值得注意的是,之所以公佈這些「初步」結果,是因為他們希望盡快向外界介紹這個想法,並推動社區更廣泛的研究。
卷積層中列表每個元素都包含卷積數和對應的核心大小。
基於 28x28 MNIST 資料集,可以觀察到 KANConv & MLP 模型與 ConvNet(大)相比達到了可接受的準確度。然而,不同之處在於 KANConv & MLP 所需的參數數量是標準 ConvNet 所需的參數數量的 7 倍。此外,KKAN 的準確率比 ConvNet Medium 低 0.04,而參數數量(94k 對 157k)幾乎只有 ConvNet Medium 的一半,這顯示了該架構的潛力。我們還需要在更多的資料集上進行實驗,才能對此得出結論。
在接下來的幾天和幾周里,作者還將徹底調整模型和用於比較的模型的超參數。雖然已經嘗試了一些超參數和架構的變化,但這只是啟發式的,並沒有採取任何精確的方法。由於計算能力和時間的原因,他們還沒有使用大型或更複雜的數據集,並正在努力解決這個問題。
未來,作者將在更複雜的資料集上進行實驗,這意味著 KANS 的參數量將會增加,因為需要實現更多的 KAN 卷積層。
結論
目前,與傳統卷積網路相比,作者表示並沒有看到KAN 卷積網路的效能有顯著提高。他們分析認為,這是由於使用的是簡單資料集和模型,與嘗試過的最佳架構(ConvNet Big,基於規模因素,這種比較是不公平的)相比,該架構的優勢在於它對參數的要求要少得多。
在2 個相同的捲積層和KAN 卷積層與最後連接的相同MLP 之間進行的比較顯示,經典方法略勝一籌,準確率提高了0.06,而KAN 卷積層和KAN 線性層的參數數幾乎只有經典方法的一半,準確率卻降低了0.04。
作者表示,隨著模型和資料集複雜度的增加,KAN 卷積網路的效能應該會有所提高。同時,隨著輸入維數的增加,模型的參數數量也會成長得更快。
以上是替代MLP的KAN,被開源專案擴展到卷積了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

儘管它無法提供訓練有素的治療師的人類聯繫和直覺,但研究表明,許多人很樂意與相對無面和匿名的AI機器人分享他們的擔憂和擔憂。 這是否總是好我

人工智能(AI)是一種技術數十年的技術,正在徹底改變食品零售業。 從大規模的效率提高和成本降低到精簡的各種業務功能的流程,AI的影響是Undeniabl

讓我們來談談。 對創新的AI突破的分析是我正在進行的AI中正在進行的《福布斯》列覆蓋範圍的一部分,包括識別和解釋各種有影響力的AI複雜性(請參閱此處的鏈接)。此外,對於我的comp

保持專業形象需要偶爾的衣櫃更新。 在線購物方便時,它缺乏面對面嘗試的確定性。 我的解決方案? AI驅動的個性化。 我設想AI助手策劃服裝Selecti

谷歌翻譯新增語言學習功能 據Android Authority報導,應用專家AssembleDebug發現,最新版本的谷歌翻譯應用包含一個新的“練習”模式的測試代碼,旨在幫助用戶通過個性化活動來提高他們的語言技能。此功能目前對用戶不可見,但AssembleDebug能夠部分激活它並查看其一些新的用戶界面元素。 激活後,該功能會在屏幕底部添加一個新的“畢業帽”圖標,標有“Beta”徽章,表明“練習”功能最初將以實驗形式發布。 相關的彈出提示顯示“練習為你量身定制的活動!”,這意味著谷歌將生成定制的

麻省理工學院的研究人員正在開發Nanda,這是為AI代理設計的開創性的Web協議。 Nanda的縮寫是網絡代理和分散的AI,通過添加Internet功能,使AI Agen能夠構建人類的模型上下文協議(MCP)。

Meta的最新冒險:與Chatgpt競爭的AI應用程序 Facebook,Instagram,WhatsApp和Threads的母公司Meta正在啟動新的AI功能應用程序。 這個獨立的應用程序Meta AI旨在直接與Openai的Chatgpt競爭。 槓桿

導航AI網絡攻擊的上升潮流 最近,CISO的傑森·克林頓(Jason Clinton)擬人化,強調了與非人類身份相關的新興風險 - 作為機器對機器的通信增殖,維護這些“身份”


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

SublimeText3 Linux新版
SublimeText3 Linux最新版

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具