機器學習讓電腦圖形學(CG)模擬更真實了!
方法名為神經流向圖(Neural Flow Maps,NFM),四個渦旋的煙霧也能精確模擬的那種:
更複雜的也能輕鬆實現:
#要知道,在這個AI應用滿天飛的時代,CG物理模擬仍是傳統數值演算法的天下。
#儘管神經網路應用在CG能創造目眩神迷的視覺效果,它卻無法嚴格、穩健地描述物理性質。
也正是因此,基於神經網路的物理模擬至今仍處於概念驗證 (proof of concept)的階段,所產生的效果也遠非SOTA。
為了解決這個複雜問題,研究團隊來自達特茅斯學院、喬治亞理工學院和史丹佛大學提出了神經流向圖這一新方法。他們將神經網路的優勢與先進的實體模型結合,實現了前所未有的視覺效果和物理精確性。
該論文發表於圖形學頂刊ACM Transactions on Graphics(TOG),並獲SIGGRAPH Asia 2023最佳論文。
研究團隊的核心觀點是:想利用AI去更好地解決物理問題,就不能侷限地將可學習模組(learnable modules)嵌入現有的方法架構(例如SPH,stable fluids)中。
現有方法是針對傳統數值方法的能力範疇量身定制的,也正因為如此,機器學習的發展所提出的一系列的全新的能力(例如NeRF對時空信號的緊湊表達),往往在已有的框架中找不到用武之地。
因此,研究人員認為與其套用AI在現有的框架中,不如基於AI提出的新能力,來設計數學和數值的新框架,從而最大化這些能力的價值。
基於上述思路,研究人員透過對物理和AI進行協同設計(co-design),建構一個超越SOTA的流體模擬器。
物理部分,NFM首先使用了一套基於衝量的(impulse-based)流體方程,透過對常見的歐拉方程進行度規變換(gauge transformation) ,確立了速度場與流向圖(flow map)以及其空間導數的關係。
換言之,只要可以得到精確的flow map數值解,那麼演化的速度場就可以被精確的重構出來。
為了最精確地計算flow map,NFM提出了一個精心設計的「雙向行進」(bidirectional marching)數值演算法。
此演算法比已有演算法的精確度高出3至5個數量級,但它同時也要求儲存長期的時空(spatiotemporal)速度場。
對大規模3D模擬來說,儲存單幀的速度場尚且有挑戰,儲存數十上百幀的速度場則全然不可行。因此「雙向行進」的演算法儘管精準,但用傳統的手段卻無法實現。
NFM巧妙地結合了基於流向圖的物理模型對於儲存高精度速度場的需求,和隱式神經表示(implicit neural representation,或INR)進行高品質時空訊號壓縮的能力,讓上述高度精確但無法實現的模擬方法變得可行。
INR通常对每个场景只需训练一次,但NFM却把它用作一个中间变量在模拟的过程中不断的进行更新,这也对INR的性能提出了更苛刻的要求。
针对这点,NFM提出了一种称作SSNF的新型高性能INR。
通过自动规划空间稀疏存储中每个格点的开启状态,以及一个基于Lagrange多项式的时间处理方案,SSNF达到了比Instant-NGP、KPlanes等方法更快的收敛速度,更高的压缩比,以及更高的存储精度。
实验结果表明,作为一个基于AI的模拟器,NFM显著地超越了SOTA方法:bimocq、covector fluids以及MC R。
在2D点涡(point vortex)保持的实验中,NFM的平均绝对误差对比其余三者减少了最少14,最多308倍。
在3D蛙跳(leapfrogging vortices)实验中,NFM也显著提升了能量守恒的能力。
同时,这种数值能力体现为对自然现象的更好模拟:根据物理定律,蛙跳中的两对涡管将永不融和,而NFM的两个涡管在完成5次蛙跳后仍然保持分离,对比的方法至多在3次之后就完全融和。
最后,文章还通过一系列算例(如固体交互,瑞利泰勒不稳定性,涡管重连等)展示了NFM在创作复杂视觉效果上的优越性。
在这个层面上值得注意的是,尽管都是利用AI赋予流体更多的细节,现有的AI超分辨率算法只能提升画面细节,但NFM却突破性地以物理的方式提升了动力学细节,从而根本性地提高了流体模拟的真实度。
项目链接:https://yitongdeng-projects.github.io/neural_flow_maps_webpage/
以上是AI模擬器拿下實體模擬新SOTA!的詳細內容。更多資訊請關注PHP中文網其他相關文章!