無人機變聰明了！李學龍團隊創造機器說話的新紀元

語言是人類交流和思維呈現最為重要的符號系統，是推動人類文明的重要力量，那麼機器能否用語言進行交互，表達自己的所見、所聽、所想，成為真正的智慧機器人呢？近日，西北工業大學光電與智能研究院李學龍教授和同事們在機器互動方面取得創新進展：基於國產大模型，研發了 「群聊式」無人機控制框架，給每架無人機裝上了大腦，讓無人機集群在語言溝通中動態協同，實現了開放環境下「人機」和「多機」的對話互動，打破人類和機器的交互壁壘，進一步拓展了臨地安防的應用場景。

大模型具有出色的泛化能力，這使得它們成為實現「通用人工智慧」的希望之光。然而，光是閱讀大量的書籍遠不如親身實踐來得有效。在開放的環境中，大模型需要真實地融入物理世界，才能真正理解複雜的任務並解決實際問題

近日，李學龍教授團隊在開放環境中的自主無人機集群方面開展了創新研究，讓大模型插上翅膀，飛入我們的現實生活中。

受人類的認知模式啟發，團隊將認知形成的高度自主性凝練為「思考計算—實體控制—環境感知」的三元互動，建立了「書生浦語」開源大模型驅動的自主無人機「群聊式」控制框架，實現了開放環境和複雜任務中的智慧互動、主動感知和自主控制，提高了無人機任務執行的自主性。

整體而言，類人對話互動、主動環境感知、自主實體控制，是自主無人機群集的主要能力。

1. 類別人對話互動

#圖一 無人機群聊溝通

探索人類使用者與無人機的互動方式，讓無人機理解複雜任務中的使用者需求，是實現自主無人機的前提條件。

針對此，團隊提出「群聊式」對話互動方法，將聲音、影像和無人機自身狀態等多種訊息，透過大模型轉換為自然語言的對話形式，實現了使用者與無人機，以及無人機與無人機之間自主和直覺的互動方式。同時，團隊設計了一套高效的即時回饋機制，使得無人機能夠在任務執行的關鍵節點透過對話報告自身狀態、尋求使用者確認，大大提高了複雜任務執行的穩定性和安全性。

2.  主動環境感知

圖二 主動發現並靠近目標

#圖三 動態環境避障

在飛行過程中，無人機主動感知外部環境，即時調整任務規劃，是完成複雜任務的關鍵環節。

針對此，團隊設計了任務引導的主動感知機制，提出了多感測器融合的低空搜尋、動態避障和視覺定位演算法。在實際任務執行中，根據感知資訊和任務目標，動態調整無人機飛行路徑和觀測位姿，嘗試從不同角度和位置感知周圍世界，逐漸降低環境中的不確定性，實現高效的資訊採集和任務執行。

3.  自主控制

圖四 #自主目標抓取

圖五 異構無人機群集協同控制

探索複合智能體形態，增強複雜任務處理能力，是大模型時代新型智能體的研究重點。

針對此，團隊依托無人機平台設計了夾爪等末端執行器，將傳統無人機拓展為「飛行機器人」，長出「手」來，具備抓取能力。同時，建構了異質無人機集群協同控制機制，結合環境感知回饋，即時調整無人機編隊的飛行狀態，使集群分工執行區域搜尋、目標定位和抓取等任務。

大模型自主無人機群集是團隊將生物智能 「思維運算—實體控制—環境感知」的三元交互模式應用於自主智能體的成功嘗試，依託大語言模型、無人機平台和多種感測器，實現對話互動、主動感知和自主控制，對安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義。

拓展閱讀：李學龍, 臨地安防（Vicinagearth security）, 中國電腦學會通訊, 18(11), 44-52, 2022.

全文下載：

https://dl.ccf.org.cn/article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

以上是無人機變聰明了！李學龍團隊創造機器說話的新紀元的詳細內容。更多資訊請關注PHP中文網其他相關文章！