LeCun對自動駕駛獨角獸的造假行為深感失望

你以為這是一個普通的自動駕駛影片嗎？

圖片

這個內容需要重新寫成中文，而不改變原來的意思

沒有一幀是「真的」。

圖片

不同路況、各種天氣，20多種狀況都能模擬，效果以假亂真。

圖片

世界模型又立大功了！這不LeCun看了都激情轉發。

圖片

根據上述效果，這是由GAIA-1的最新版本帶來的

這個項目的規模達到了90億參數，透過4700小時的駕駛影片訓練，成功實現了輸入影片、文字或操作生成自動駕駛影片的效果

帶來的最直接好處就是－能更好預測未來事件，20多種場景都能模擬，進一步提升了自動駕駛的安全性、也降低了成本。

圖片

我們的主創團隊直言不諱地表示，這將徹底改變自動駕駛的遊戲規則！

所以GAIA-1是如何實現的？

規模越大效果越好

GAIA-1是一個具有多種模式的生成式世界模型

透過利用視訊、文字和動作作為輸入，該系統可以產生逼真的駕駛場景視頻，並且可以對自主車輛的行為和場景特徵進行精細控制

可以透過僅使用文字提示來產生視頻

圖片

其模型原理類似於大型語言模型，即預測下一個標記

模型可以利用向量量化表示將視訊幀離散，然後預測未來場景，就轉換成了預測序列中的下一個token。然後再利用擴散模型從世界模型的語言空間產生高品質視訊。

具體步驟如下：

圖片

#第一步簡單理解，就是對各種輸入進行重新編碼與排列組合。

透過使用專門的編碼器對各種輸入進行編碼，並將不同的輸入投射到共享表示中。文字和視訊編碼器將輸入分離、嵌入，而操作表示則被單獨投射到共享表示中

這些編碼的表示具有時間一致性。

在進行排列之後，關鍵部分世界模型登場。

作為一個自回歸Transformer，它能預測序列中的下一組影像token。而且它不僅考慮了先前的圖像token，還要兼顧文字和操作的上下文資訊。

模型產生的內容不僅保持了影像的一致性，還能與預測的文字和動作保持一致

團隊介紹，GAIA-1中的世界模型規模為65億參數，在64塊A100上訓練15天而成。

最後再利用視訊解碼器、視訊擴散模型，將這些token轉換回影片。

這一步驟的重要性在於確保影片的語意品質、影像準確度與時間一致性

GAIA-1的影片解碼器規模達26億參數規模，利用32台A100訓練15天而來。

值得一提的是，GAIA-1不僅與大型語言模型的原理相似，而且還展現出隨著模型規模擴大，生成質量提升的特點

圖片

團隊對先前發布的六月早期版本和最新效果進行了比較

後者規模為前者的480倍。

可以直觀看影片在細節、解析度等方面都有明顯提升。

圖片

從實際應用的角度來看，GAIA-1的出現也帶來了一些影響，其主創團隊表示，這將改變自動駕駛的規則

圖片

原因可以從三個面向來解釋：

• 安全性
• 綜合訓練資料
• 長尾場景

首先安全方面，世界模型能夠透過模擬未來，讓AI有能力意識到自己的決定，這對自動駕駛的安全性來說很關鍵。

其次，對於自動駕駛來說，訓練資料也是非常重要的。產生的數據具有更高的安全性和成本效益，並且可以無限擴展

生成式AI可以解決自動駕駛面臨的長尾場景挑戰之一。它可以處理更多邊緣場景，例如在大霧天氣中遇到橫越馬路的行人。這將進一步提高自動駕駛的能力

Wayve是誰？

GAIA-1是由英國自動駕駛新創公司Wayve開發的

Wayve成立於2017年，投資方有微軟等，估值已經達到了獨角獸。

創辦人是亞歷克斯·肯德爾和艾瑪爾·沙，他們都是劍橋大學的機器學習博士

圖片

技術路線上，和特斯拉一樣，Wayve主張利用攝影機的純視覺方案，很早就拋棄高精地圖，堅定的走「即時感知」路線。

前不久，該團隊發布的另一個大模型LINGO-1也引起了廣泛關注

這個自動駕駛模型能夠在行車過程中實時生成解說，從而進一步提高了模型的解釋性

今年3月，比爾蓋茲也曾試搭過Wayve的自動駕駛汽車。

圖片

論文網址：https://www.php.cn/link/1f8c4b6a0115a4617e285b4494126fbf

#######################################################參考連結：###[1]###https://www.php.cn/link/85dca1d270f7f9aef00c9d372f114482###[2]###https://www.php.cn/link/a4cc22565dfafb162a171003257270becbec ###

以上是LeCun對自動駕駛獨角獸的造假行為深感失望的詳細內容。更多資訊請關注PHP中文網其他相關文章！