西工大推出創新無人機控制框架：實現群聊式互動、主動感知環境、自主控制無人機

超強的泛化能力，讓大模型成為「通用人工智慧」的一縷曙光。

然而，讀萬卷書，不如行萬里路，在開放環境中，大模型需要真正地「走」進物理世界，才能切實地理解複雜任務、解決實際問題。

最近，李學龍教授的團隊進行了關於開放環境中自主無人機集群的創新研究。他們利用國產大型模型成功實現了在開放環境中的人機和多機對話交互，打破了人類與機器之間的交互壁壘。這項研究進一步擴展了臨地安防的應用場景，讓大型無人機在現實生活中翱翔

受到人類認知模式的啟發，我們的團隊將高度自主的認知過程歸納為“思維計算—實體控制—環境感知」的三元交互，並建立了基於「書生·浦語」開源大模型驅動的自主無人機「群聊式」控制框架。我們為每架無人機搭載了智慧大腦，使得無人機群體能夠透過語言溝通動態協同，實現在開放環境和複雜任務中的智慧互動、主動感知和自主控制。這項措施提高了無人機任務執行的自主性

總的來說，自主無人機群集的主要能力包括類人對話互動、主動環境感知和自主實體控制

類人對話互動

圖1 無人機群聊溝通

#探索人類使用者與無人機的互動方式，讓無人機理解複雜任務中的使用者需求，是實現自主無人機的前提。

針對此，團隊提出「群聊式」對話互動方法，將聲音、影像和無人機自身狀態等多種訊息，透過大模型轉換為自然語言的對話形式，實現了使用者與無人機，以及無人機與無人機之間自主和直覺的互動方式。

為了提升複雜任務的執行穩定性和安全性，團隊設計了一套高效的即時回饋機制。這個機制使得無人機能夠在任務執行的關鍵節點透過對話報告自身狀態，並尋求使用者確認。同時，這套機制也能大幅提升任務執行的效率

主動環境感知

圖2 主動發現並靠近目標

圖3 動態環境避障

在飛行過程中，無人機主動感知外部環境，即時調整任務規劃，是完成複雜任務的關鍵環節。

為了回應這個問題，團隊開發了一種任務引導的主動感知機制，並提出了多感測器融合的低空搜尋、動態避障和視覺定位演算法

在實際任務執行過程中，根據感知資訊和任務目標，我們可以動態調整無人機的飛行路徑和觀測位姿。我們可以嘗試從不同的角度和位置感知周圍的世界，逐漸降低環境中的不確定性，以實現高效的資訊收集和任務執行

自主控制

圖4 自主目標抓取

圖5 異質無人機群集協同控制

重點研究是探索複合智能體形態，以增強其處理複雜任務的能力。在大模型時代，這是新型智能體的一個關鍵領域

為了解決這個問題，研發團隊利用無人機平台設計了夾爪等末端執行器，將傳統的無人機升級為“飛行機器人”，賦予其抓取能力

同時，還建立了異質無人機集群協同控制機制，並結合環境感知反饋，實時調整無人機編隊的飛行狀態，以便讓集群能夠分工合作，執行區域搜尋、目標定位和抓取等任務

團隊成功嘗試將生物智慧的「思維運算—實體控制—環境感知」三元互動模式應用於自主智慧體中，形成了大型自主無人機群集。這種集群利用大型語言模型、無人機平台與多種感測器，實現了對話互動、主動感知和自主控制。此技術對於安防巡檢、災害救援、空中物流等臨地安防場景下的應用具有重要意義

#參考文獻：李學龍, 臨地安防（Vicinagearth security）, 中國計算機學會通訊, 18(11 ), 44-52, 2022年

以上是西工大推出創新無人機控制框架：實現群聊式互動、主動感知環境、自主控制無人機的詳細內容。更多資訊請關注PHP中文網其他相關文章！