编辑 | ScienceAI
深度学习模型由于其可以从海量数据中学习潜在关系的能力而在科学研究领域产生了深远影响。然而,纯粹依赖数据的模型逐渐显露出其局限性,包括对数据的过度依赖、泛化能力的限制以及与现实物理世界的一致性问题。这些问题推动着研究者探索更具解释性和可解释性的模型,以弥补数据驱动模型的不足。因此,结合领域知识和数据驱动方法,构建更具可解释性和泛化能力的模型成为当前科学研究的重要方向。这种
例如,美国OpenAI公司开发的文本到视频模型Sora因其出色的图像生成能力而备受赞誉,被认为是人工智能领域的重要进展。尽管能够生成逼真的图像和视频,Sora在处理物理定律方面仍存在一些挑战,比如重力和物体碎裂等。虽然Sora在模拟现实场景方面取得了显著进展,但在理解和准确模拟物理规律方面还有改进的空间。AI技术的发展仍需要不断努力,以提高模型的全面性和准确性,从而更好地适应各种现实世界的情境。
解决这一问题的一个潜在途径是将人类知识融入深度学习模型中。通过结合先验知识和数据,可以增强模型的泛化能力,从而产生能够理解物理规律的「知情机器学习」(Informed machine learning)模型。这种方法有望提高模型的性能和准确性,使其能够更好地应对现实世界中的复杂问题。通过将人类专家的经验和洞察力融入机器学习算法,我们可以建立更加智能和高效的系统,从而推动人工智能技术的发展和应用。
目前,对深度学习中知识的确切价值仍然缺乏深入探讨。在确定哪些先验知识可以有效地整合到模型中以进行“预学习”方面,存在着一个急需解决的难题。同时,盲目地融合多项规则可能导致模型的失效,这一点也是需要引起重视的。这些限制给数据与知识关系的深入探索带来了挑战。
针对这一问题,东方理工(EIT)和北京大学的研究团队提出了「规则重要性」的概念,并开发了一套框架,能精确计算每个规则对模型预测精度的贡献。该框架不仅揭示了数据和知识之间的复杂相互作用关系,为知识嵌入提供了理论性指导,还有助于在训练过程中平衡知识和数据的影响。此外,该方法还可用于识别不恰当的先验规则,为交叉学科领域的研究与应用提供广阔前景。
这项研究题为“Prior Knowledge's Impact on Deep Learning”,已于2024年3月8日在 Cell 出版社旗下的跨学科期刊《Nexus》上发表。该研究受到了 AAAS(美国科学促进会)和 EurekAlert! 的关注报道。
在教授孩子拼图时,既可以让他们通过反复试验来找出答案,也可以用一些基本的规则和技巧来引导他们。同样地,将规则和技巧——比如物理定律——融入到人工智能训练中能让它们更贴近现实,运作更高效。然而,如何评估这些规则在人工智能中的价值,一直是困扰研究者的难题。
鉴于先验知识的丰富多样性,将先验知识融入深度学习模型是一个复杂的多目标优化任务。研究团队创新性地提出了一个框架,以量化不同先验知识在提高深度学习模型方面的作用。他们将此过程视为充满合作与竞争的博弈,通过评估规则对模型预测的边际贡献来界定其重要性。首先生成所有可能的规则组合(即「联盟」),并对每个组合构建模型,并计算均方误差。
为降低计算成本,他们采用了一种基于扰动的高效算法:先训练一个完全基于数据的神经网络作为基线模型,然后逐一加入各个规则组合进行额外训练,最后在测试数据上评估模型表现。通过比较模型在包含和不包含某个规则的所有联盟中的表现,可以计算出该规则的边际贡献,进而得出其重要性。
透過流體力學的算例,研究人員探討了資料與規則間的複雜關係。他們發現,在不同任務中,資料和先驗規則的作用完全不同。當測試資料與訓練資料分佈相近時(即 In-distribution),資料量的增加會削弱規則的功能。
然而,當測試資料與訓練資料分佈相似度較低時(即 Out-of-distribution),全域規則的重要性被凸顯出來,而局部規則的影響則被削弱。這兩類規則的差異在於:全域規則(如控制方程式)影響整個域,而局部規則(如邊界條件)僅作用於特定區域。
研究團隊經數值實驗發現,在知識嵌入中,規則間有三種交互作用效應:依賴效應、綜效和替代效應。
依賴效應指某些規則需依賴其他規則才能有效;協同效應顯示多條規則共同作用的效果超越各自獨立作用時的總和;替代效應則顯示一條規則的功能可能被資料或其他規則替代。
這三種效應同時存在,並受到資料量的影響。透過計算規則重要性,可清楚展現這些效應,為知識嵌入提供重要指引。
在應用層面,研究團隊試圖解決知識嵌入過程中的一個核心問題:如何平衡資料與規則的作用,以提升嵌入效率並篩選出不適合的先驗知識。在模型的訓練過程中,團隊提出了一個動態調整規則權重的策略。
具體而言,隨著訓練迭代步的增加,逐漸增加正重要性規則的權重,同時減少負重要性規則的權重。這種策略能夠根據優化過程的需求,即時調整模型對不同規則的關注度,從而實現更有效率和準確的知識嵌入。
此外,向 AI 模型傳授物理定律可以使它們「更貼近現實世界,從而在科學和工程領域發揮更大作用」。因此,該框架在工程、物理和化學領域具有廣泛的實際應用。研究人員不僅優化了機器學習模型來解多元方程,也能精確地辨識出對薄層層析分析預測模型表現有提升效果的規則。
實驗結果顯示,透過融入這些有效規則,模型的效能得到了顯著提升,測試資料集上的均方誤差從 0.052 降低至 0.036(減少了 30.8%)。這意味著該框架可以將經驗性見解轉化為結構化知識,從而顯著提升模型效能。
整體而言,準確評估知識的價值有助於建立更契合現實的AI模型,提高安全性和可靠性,對深度學習發展具有重要意義。
接下來,研究團隊計畫將他們的框架發展成可供人工智慧開發人員使用的插件工具。他們的最終目標是開發出能夠直接從資料中提取知識和規則,進而自我完善的模型,從而打造一個從知識發現到知識嵌入的閉環系統,使模型成為真正的人工智慧科學家。
論文連結:https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9
以上是如何把大量物理知識塞給AI? EIT和北大團隊提出「規則重要性」概念的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Apollo Research的一份新報告顯示,先進的AI系統的不受檢查的內部部署構成了重大風險。 在大型人工智能公司中缺乏監督,普遍存在,允許潛在的災難性結果

傳統測謊儀已經過時了。依靠腕帶連接的指針,打印出受試者生命體徵和身體反應的測謊儀,在識破謊言方面並不精確。這就是為什麼測謊結果通常不被法庭採納的原因,儘管它曾導致許多無辜者入獄。 相比之下,人工智能是一個強大的數據引擎,其工作原理是全方位觀察。這意味著科學家可以通過多種途徑將人工智能應用於尋求真相的應用中。 一種方法是像測謊儀一樣分析被審問者的生命體徵反應,但採用更詳細、更精確的比較分析。 另一種方法是利用語言標記來分析人們實際所說的話,並運用邏輯和推理。 俗話說,一個謊言會滋生另一個謊言,最終

航空航天業是創新的先驅,它利用AI應對其最複雜的挑戰。 現代航空的越來越複雜性需要AI的自動化和實時智能功能,以提高安全性,降低操作

機器人技術的飛速發展為我們帶來了一個引人入勝的案例研究。 來自Noetix的N2機器人重達40多磅,身高3英尺,據說可以後空翻。 Unitree公司推出的G1機器人重量約為N2的兩倍,身高約4英尺。比賽中還有許多體型更小的類人機器人參賽,甚至還有一款由風扇驅動前進的機器人。 數據解讀 這場半程馬拉松吸引了超過12,000名觀眾,但只有21台類人機器人參賽。儘管政府指出參賽機器人賽前進行了“強化訓練”,但並非所有機器人均完成了全程比賽。 冠軍——由北京類人機器人創新中心研發的Tiangong Ult

人工智能以目前的形式並不是真正智能的。它擅長模仿和完善現有數據。 我們不是在創造人工智能,而是人工推斷 - 處理信息的機器,而人類則

一份報告發現,在谷歌相冊Android版7.26版本的代碼中隱藏了一個更新的界面,每次查看照片時,都會在屏幕底部顯示一行新檢測到的面孔縮略圖。 新的面部縮略圖缺少姓名標籤,所以我懷疑您需要單獨點擊它們才能查看有關每個檢測到的人員的更多信息。就目前而言,此功能除了谷歌相冊已在您的圖像中找到這些人之外,不提供任何其他信息。 此功能尚未上線,因此我們不知道谷歌將如何準確地使用它。谷歌可以使用縮略圖來加快查找所選人員的更多照片的速度,或者可能用於其他目的,例如選擇要編輯的個人。我們拭目以待。 就目前而言

增強者通過教授模型根據人類反饋進行調整來震撼AI的開發。它將監督的學習基金會與基於獎勵的更新融合在一起,使其更安全,更準確,真正地幫助

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3 英文版
推薦:為Win版本,支援程式碼提示!

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。