搜尋
首頁科技週邊人工智慧如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

编辑 | ScienceAI

深度学习模型由于其可以从海量数据中学习潜在关系的能力而在科学研究领域产生了深远影响。然而,纯粹依赖数据的模型逐渐显露出其局限性,包括对数据的过度依赖、泛化能力的限制以及与现实物理世界的一致性问题。这些问题推动着研究者探索更具解释性和可解释性的模型,以弥补数据驱动模型的不足。因此,结合领域知识和数据驱动方法,构建更具可解释性和泛化能力的模型成为当前科学研究的重要方向。这种

例如,美国OpenAI公司开发的文本到视频模型Sora因其出色的图像生成能力而备受赞誉,被认为是人工智能领域的重要进展。尽管能够生成逼真的图像和视频,Sora在处理物理定律方面仍存在一些挑战,比如重力和物体碎裂等。虽然Sora在模拟现实场景方面取得了显著进展,但在理解和准确模拟物理规律方面还有改进的空间。AI技术的发展仍需要不断努力,以提高模型的全面性和准确性,从而更好地适应各种现实世界的情境。

解决这一问题的一个潜在途径是将人类知识融入深度学习模型中。通过结合先验知识和数据,可以增强模型的泛化能力,从而产生能够理解物理规律的「知情机器学习」(Informed machine learning)模型。这种方法有望提高模型的性能和准确性,使其能够更好地应对现实世界中的复杂问题。通过将人类专家的经验和洞察力融入机器学习算法,我们可以建立更加智能和高效的系统,从而推动人工智能技术的发展和应用。

目前,对深度学习中知识的确切价值仍然缺乏深入探讨。在确定哪些先验知识可以有效地整合到模型中以进行“预学习”方面,存在着一个急需解决的难题。同时,盲目地融合多项规则可能导致模型的失效,这一点也是需要引起重视的。这些限制给数据与知识关系的深入探索带来了挑战。

针对这一问题,东方理工(EIT)和北京大学的研究团队提出了「规则重要性」的概念,并开发了一套框架,能精确计算每个规则对模型预测精度的贡献。该框架不仅揭示了数据和知识之间的复杂相互作用关系,为知识嵌入提供了理论性指导,还有助于在训练过程中平衡知识和数据的影响。此外,该方法还可用于识别不恰当的先验规则,为交叉学科领域的研究与应用提供广阔前景。

这项研究题为“Prior Knowledge's Impact on Deep Learning”,已于2024年3月8日在 Cell 出版社旗下的跨学科期刊《Nexus》上发表。该研究受到了 AAAS(美国科学促进会)和 EurekAlert! 的关注报道。

如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

在教授孩子拼图时,既可以让他们通过反复试验来找出答案,也可以用一些基本的规则和技巧来引导他们。同样地,将规则和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近现实,运作更高效。然而,如何评估这些规则在人工智能中的价值,一直是困扰研究者的难题。

鉴于先验知识的丰富多样性,将先验知识融入深度学习模型是一个复杂的多目标优化任务。研究团队创新性地提出了一个框架,以量化不同先验知识在提高深度学习模型方面的作用。他们将此过程视为充满合作与竞争的博弈,通过评估规则对模型预测的边际贡献来界定其重要性。首先生成所有可能的规则组合(即「联盟」),并对每个组合构建模型,并计算均方误差。

为降低计算成本,他们采用了一种基于扰动的高效算法:先训练一个完全基于数据的神经网络作为基线模型,然后逐一加入各个规则组合进行额外训练,最后在测试数据上评估模型表现。通过比较模型在包含和不包含某个规则的所有联盟中的表现,可以计算出该规则的边际贡献,进而得出其重要性。

如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

圖示:規則重要性的計算流程(資料來源:論文)

透過流體力學的算例,研究人員探討了資料與規則間的複雜關係。他們發現,在不同任務中,資料和先驗規則的作用完全不同。當測試資料與訓練資料分佈相近時(即 In-distribution),資料量的增加會削弱規則的功能。

然而,當測試資料與訓練資料分佈相似度較低時(即 Out-of-distribution),全域規則的重要性被凸顯出來,而局部規則的影響則被削弱。這兩類規則的差異在於:全域規則(如控制方程式)影響整個域,而局部規則(如邊界條件)僅作用於特定區域。

如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

圖示:規則重要性與資料量之間的關係(資料來源:論文)

研究團隊經數值實驗發現,在知識嵌入中,規則間有三種交互作用效應:依賴效應、綜效和替代效應。

依賴效應指某些規則需依賴其他規則才能有效;協同效應顯示多條規則共同作用的效果超越各自獨立作用時的總和;替代效應則顯示一條規則的功能可能被資料或其他規則替代。

這三種效應同時存在,並受到資料量的影響。透過計算規則重要性,可清楚展現這些效應,為知識嵌入提供重要指引。

在應用層面,研究團隊試圖解決知識嵌入過程中的一個核心問題:如何平衡資料與規則的作用,以提升嵌入效率並篩選出不適合的先驗知識。在模型的訓練過程中,團隊提出了一個動態調整規則權重的策略。

具體而言,隨著訓練迭代步的增加,逐漸增加正重要性規則的權重,同時減少負重要性規則的權重。這種策略能夠根據優化過程的需求,即時調整模型對不同規則的關注度,從而實現更有效率和準確的知識嵌入。

此外,向 AI 模型傳授物理定律可以使它們「更貼近現實世界,從而在科學和工程領域發揮更大作用」。因此,該框架在工程、物理和化學領域具有廣泛的實際應用。研究人員不僅優化了機器學習模型來解多元方程,也能精確地辨識出對薄層層析分析預測模型表現有提升效果的規則。

實驗結果顯示,透過融入這些有效規則,模型的效能得到了顯著提升,測試資料集上的均方誤差從 0.052 降低至 0.036(減少了 30.8%)。這意味著該框架可以將經驗性見解轉化為結構化知識,從而顯著提升模型效能。

整體而言,準確評估知識的價值有助於建立更契合現實的AI模型,提高安全性和可靠性,對深度學習發展具有重要意義。

如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念

圖示:透過規則重要性以識別有效的規則(來源:論文)

接下來,研究團隊計畫將他們的框架發展成可供人工智慧開發人員使用的插件工具。他們的最終目標是開發出能夠直接從資料中提取知識和規則,進而自我完善的模型,從而打造一個從知識發現到知識嵌入的閉環系統,使模型成為真正的人工智慧科學家。

論文連結:https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9

AAAS 報告連結:https://www.eurekalert. org/news-releases/1036117

以上是如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境