搜尋
首頁科技週邊人工智慧替代MLP的KAN,被開源專案擴展到卷積了

本月初,來自 MIT 等機構的研究者提出了一種非常有潛力的 MLP 替代方法 ——KAN。

KAN在準確性和可解釋性方面表現優於MLP。而且它能以非常少的參數量勝過以更大參數量運行的MLP。例如,作者表示,他們用KAN以更小的網路和更高的自動化程度重現了DeepMind的結果。具體來說,DeepMind的MLP有大約300,000個參數,而KAN只有約200個參數。

KAN 與 MLP 一樣具有強大的數學基礎,MLP 基於通用逼近定理,而 KAN 基於 Kolmogorov-Arnold 表示定理。

如下圖所示,KAN 在邊上具有激活函數,而 MLP 在節點上具有激活函數。 KAN 似乎比 MLP 的參數效率更高,但每個 KAN 層比 MLP 層擁有更多的參數。 圖片: [圖1:示意圖] 簡要解釋: KAN 是一種基於邊的神經網路結構,每個節點都有邊的權重和活化函數。它透過邊的傳播來實現訊息的傳遞和更新。 MLP 是一種基於節點的神經網路結構,每個節點都有輸入的

替代MLP的KAN,被開源專案擴展到卷積了

最近,有研究者將KAN 創新框架的概念擴展到卷積神經網絡,將卷積的經典線性變換改為每個像素中可學習的非線性激活函數,提出並開源KAN 卷積(CKAN)。

替代MLP的KAN,被開源專案擴展到卷積了

計畫地址:https://github.com/AntonioTepsich/Convolutional-KANs

KAN卷積

KAN 卷積與卷積非常相似,但不是在內核和影像中對應像素之間應用點積,而是對每個元素應用可學習的非線性激活函數,然後將它們相加。 KAN 卷積的內核當於 4 個輸入和 1 個輸出神經元的 KAN 線性層。對於每個輸入 i,應用 ϕ_i 可學習函數,該卷積步驟的結果像素是 ϕ_i (x_i) 的總和。

替代MLP的KAN,被開源專案擴展到卷積了

KAN 磁碟區中的參數

假設有一個KxK 內核,對於該矩陣的每個元素,都有一個ϕ,其參數計數為:gridsize 1,ϕ 定義為:

替代MLP的KAN,被開源專案擴展到卷積了

##這為激活函數b 提供了更多的可表達性,線性層的參數計數為gridsize 2。因此,KAN 卷積總共有 K^2​​(gridsize 2) 個參數,而普通卷積只有 K^2​​。

初步評估

作者測試過的不同架構有:

  • 連接到KAN 線性層的KAN 卷積層(KKAN)
  • 與MLP 相連的KAN 卷積層(CKAN)
  • 在卷積之間進行批量歸一化的CKAN (CKAN_BN)
  • ConvNet(連接到MLP 的經典卷積)(ConvNet)
  • 簡單MLP

替代MLP的KAN,被開源專案擴展到卷積了

作者表示,KAN 卷積的實作是一個很有前景的想法,儘管它仍處於早期階段。他們進行了一些初步實驗,以評估 KAN 卷積的表現。

值得注意的是,之所以公佈這些「初步」結果,是因為他們希望盡快向外界介紹這個想法,並推動社區更廣泛的研究。

替代MLP的KAN,被開源專案擴展到卷積了

卷積層中列表每個元素都包含卷積數和對應的核心大小。

基於 28x28 MNIST 資料集,可以觀察到 KANConv & MLP 模型與 ConvNet(大)相比達到了可接受的準確度。然而,不同之處在於 KANConv & MLP 所需的參數數量是標準 ConvNet 所需的參數數量的 7 倍。此外,KKAN 的準確率比 ConvNet Medium 低 0.04,而參數數量(94k 對 157k)幾乎只有 ConvNet Medium 的一半,這顯示了該架構的潛力。我們還需要在更多的資料集上進行實驗,才能對此得出結論。

在接下來的幾天和幾周里,作者還將徹底調整模型和用於比較的模型的超參數。雖然已經嘗試了一些超參數和架構的變化,但這只是啟發式的,並沒有採取任何精確的方法。由於計算能力和時間的原因,他們還沒有使用大型或更複雜的數據集,並正在努力解決這個問題。

未來,作者將在更複雜的資料集上進行實驗,這意味著 KANS 的參數量將會增加,因為需要實現更多的 KAN 卷積層。

結論

目前,與傳統卷積網路相比,作者表示並沒有看到KAN 卷積網路的效能有顯著提高。他們分析認為,這是由於使用的是簡單資料集和模型,與嘗試過的最佳架構(ConvNet Big,基於規模因素,這種比較是不公平的)相比,該架構的優勢在於它對參數的要求要少得多。

在2 個相同的捲積層和KAN 卷積層與最後連接的相同MLP 之間進行的比較顯示,經典方法略勝一籌,準確率提高了0.06,而KAN 卷積層和KAN 線性層的參數數幾乎只有經典方法的一半,準確​​率卻降低了0.04。

作者表示,隨著模型和資料集複雜度的增加,KAN 卷積網路的效能應該會有所提高。同時,隨著輸入維數的增加,模型的參數數量也會成長得更快。

以上是替代MLP的KAN,被開源專案擴展到卷積了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
人工智能治療師在這裡:您需要了解的14個開創性的心理健康工具人工智能治療師在這裡:您需要了解的14個開創性的心理健康工具Apr 30, 2025 am 11:17 AM

儘管它無法提供訓練有素的治療師的人類聯繫和直覺,但研究表明,許多人很樂意與相對無面和匿名的AI機器人分享他們的擔憂和擔憂。 這是否總是好我

叫AI到雜貨店過道叫AI到雜貨店過道Apr 30, 2025 am 11:16 AM

人工智能(AI)是一種技術數十年的技術,正在徹底改變食品零售業。 從大規模的效率提高和成本降低到精簡的各種業務功能的流程,AI的影響是Undeniabl

從生成的AI中進行佩普談話來提升您的精神從生成的AI中進行佩普談話來提升您的精神Apr 30, 2025 am 11:15 AM

讓我們來談談。 對創新的AI突破的分析是我正在進行的AI中正在進行的《福布斯》列覆蓋範圍的一部分,包括識別和解釋各種有影響力的AI複雜性(請參閱此處的鏈接)。此外,對於我的comp

為什麼AI驅動的超個性化是所有企業必須的為什麼AI驅動的超個性化是所有企業必須的Apr 30, 2025 am 11:14 AM

保持專業形象需要偶爾的衣櫃更新。 在線購物方便時,它缺乏面對面嘗試的確定性。 我的解決方案? AI驅動的個性化。 我設想AI助手策劃服裝Selecti

忘記Duolingo:Google Translate的新AI功能教授語言忘記Duolingo:Google Translate的新AI功能教授語言Apr 30, 2025 am 11:13 AM

谷歌翻譯新增語言學習功能 據Android Authority報導,應用專家AssembleDebug發現,最新版本的谷歌翻譯應用包含一個新的“練習”模式的測試代碼,旨在幫助用戶通過個性化活動來提高他們的語言技能。此功能目前對用戶不可見,但AssembleDebug能夠部分激活它並查看其一些新的用戶界面元素。 激活後,該功能會在屏幕底部添加一個新的“畢業帽”圖標,標有“Beta”徽章,表明“練習”功能最初將以實驗形式發布。 相關的彈出提示顯示“練習為你量身定制的活動!”,這意味著谷歌將生成定制的

他們正在為AI製作TCP/IP,這就是Nanda他們正在為AI製作TCP/IP,這就是NandaApr 30, 2025 am 11:12 AM

麻省理工學院的研究人員正在開發Nanda,這是為AI代理設計的開創性的Web協議。 Nanda的縮寫是網絡代理和分散的AI,通過添加Internet功能,使AI Agen能夠構建人類的模型上下文協議(MCP)。

提示:DeepFake檢測是一項蓬勃發展的業務提示:DeepFake檢測是一項蓬勃發展的業務Apr 30, 2025 am 11:11 AM

Meta的最新冒險:與Chatgpt競爭的AI應用程序 Facebook,Instagram,WhatsApp和Threads的母公司Meta正在啟動新的AI功能應用程序。 這個獨立的應用程序Meta AI旨在直接與Openai的Chatgpt競爭。 槓桿

接下來的兩年在AI網絡安全方面為業務領導者接下來的兩年在AI網絡安全方面為業務領導者Apr 30, 2025 am 11:10 AM

導航AI網絡攻擊的上升潮流 最近,CISO的傑森·克林頓(Jason Clinton)擬人化,強調了與非人類身份相關的新興風險 - 作為機器對機器的通信增殖,維護這些“身份”

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具