搜索
首页科技周边人工智能西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机

超强的泛化能力,让大模型成为「通用人工智能」的一缕曙光。

然而,读万卷书,不如行万里路,在开放环境中,大模型需要真正地「走」进物理世界,才能切实地理解复杂任务、解决实际问题。

最近,李学龙教授的团队进行了关于开放环境中自主无人机集群的创新研究。他们利用国产大型模型成功实现了在开放环境中的人机和多机对话交互,打破了人类与机器之间的交互壁垒。这一研究进一步扩展了临地安防的应用场景,让大型无人机在现实生活中翱翔

受到人类认知模式的启发,我们的团队将高度自主的认知过程归纳为「思维计算—实体控制—环境感知」的三元交互,并建立了基于「书生·浦语」开源大模型驱动的自主无人机「群聊式」控制框架。我们为每架无人机搭载了智能大脑,使得无人机群体能够通过语言沟通动态协同,实现在开放环境和复杂任务中的智能交互、主动感知和自主控制。这一举措提高了无人机任务执行的自主性

总的来说,自主无人机集群的主要能力包括类人对话交互、主动环境感知和自主实体控制

类人对话交互

西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机图1 无人机群聊沟通

探索人类用户与无人机的交互方式,让无人机理解复杂任务中的用户需求,是实现自主无人机的前提条件。

针对此,团队提出「群聊式」对话交互方法,将声音、图像和无人机自身状态等多种信息,通过大模型转换为自然语言的对话形式,实现了用户与无人机,以及无人机与无人机之间自主和直观的交互方式。

为了提高复杂任务的执行稳定性和安全性,团队设计了一套高效的实时反馈机制。这个机制使得无人机能够在任务执行的关键节点通过对话报告自身状态,并寻求用户确认。同时,这套机制还能够大大提高任务执行的效率

主动环境感知

西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机图2 主动发现并靠近目标

西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机图3 动态环境避障

在飞行过程中,无人机主动感知外部环境,实时调整任务规划,是完成复杂任务的关键环节。

为了应对这个问题,团队开发了一种任务引导的主动感知机制,并提出了多传感器融合的低空搜索、动态避障和视觉定位算法

在实际任务执行过程中,根据感知信息和任务目标,我们可以动态调整无人机的飞行路径和观测位姿。我们可以尝试从不同的角度和位置感知周围的世界,逐渐降低环境中的不确定性,以实现高效的信息采集和任务执行

自主控制

西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机图4 自主目标抓取

西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机图5 异构无人机集群协同控制

重点研究是探索复合智能体形态,以增强其处理复杂任务的能力。在大模型时代,这是新型智能体的一个关键领域

为了解决这个问题,研发团队利用无人机平台设计了夹爪等末端执行器,将传统的无人机升级为“飞行机器人”,赋予其抓取能力

同时,还建立了异构无人机集群协同控制机制,并结合环境感知反馈,实时调整无人机编队的飞行状态,以便让集群能够分工合作,执行区域搜索、目标定位和抓取等任务

团队成功尝试将生物智能的「思维计算—实体控制—环境感知」三元交互模式应用于自主智能体中,形成了大型自主无人机集群。这种集群利用大型语言模型、无人机平台与多种传感器,实现了对话交互、主动感知和自主控制。该技术对于安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义

参考文献:李学龙, 临地安防(Vicinagearth security), 中国计算机学会通讯, 18(11), 44-52, 2022年

以上是西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
将文本文档转换为带有TFIDFECTORIZER的TF-IDF矩阵将文本文档转换为带有TFIDFECTORIZER的TF-IDF矩阵Apr 18, 2025 am 10:26 AM

本文解释了术语“频率分析”频率(TF-IDF)技术,这是一种自然语言处理(NLP)的关键工具(NLP),用于分析文本数据。 TF-IDF通过加权TE超过基本词袋方法的局限性

使用Langchain建立智能AI代理:实用指南使用Langchain建立智能AI代理:实用指南Apr 18, 2025 am 10:18 AM

使用兰班释放AI特工的力量:初学者指南 想象一下,通过让她与Chatgpt聊天来向您的祖母展示人工智能的奇观 - 当AI毫不费力地进行对话时,她的脸上的兴奋! Th

MISTRAL大2:足够强大,可以挑战Llama 3.1 405b?MISTRAL大2:足够强大,可以挑战Llama 3.1 405b?Apr 18, 2025 am 10:16 AM

MISTRAL大2:深入了解Mistral AI强大的开源LLM Meta AI最近发布的Llama 3.1模型系列很快被Mistral AI揭幕了其迄今为止最大的模型:Mistral flow 2。这个1230亿参数

稳定扩散中的噪声时间表是什么? - 分析Vidhya稳定扩散中的噪声时间表是什么? - 分析VidhyaApr 18, 2025 am 10:15 AM

了解扩散模型中的噪声时间表:综合指南 您是否曾经被AI产生的令人惊叹的数字艺术视觉效果所吸引,并想知道基础机制? 关键要素是“噪声时间表,&quo

如何使用GPT-4O构建对话聊天机器人? - 分析Vidhya如何使用GPT-4O构建对话聊天机器人? - 分析VidhyaApr 18, 2025 am 10:06 AM

使用GPT-4O构建上下文聊天机器人:综合指南 在AI和NLP迅速发展的景观中,聊天机器人已成为开发人员和组织必不可少的工具。 创建真正引人入胜且聪明的聊天的关键方面

2025年建造AI代理的前7个框架2025年建造AI代理的前7个框架Apr 18, 2025 am 10:00 AM

本文探讨了建立AI代理的七个领先框架 - 自主软件实体,这些软件实体可以感知,决定和采取行动实现目标。 这些代理人超越了传统的强化学习,利用高级计划和推理

I型和II型错误有什么区别? - 分析VidhyaI型和II型错误有什么区别? - 分析VidhyaApr 18, 2025 am 09:48 AM

了解统计假设检验中的I型和II型错误 想象一下一项临床试验测试一种新的血压药物。 该试验的结论大大降低了血压,但实际上并非如此。这是一种类型

使用Sumy库的自动文本摘要使用Sumy库的自动文本摘要Apr 18, 2025 am 09:37 AM

Sumy:您的AI驱动摘要助理 厌倦了筛选无尽的文件? 强大的Python库Sumy提供了一种简化的解决方案,用于自动文本摘要。 本文探讨了Sumy的功能,指导您通过

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
1 个月前By尊渡假赌尊渡假赌尊渡假赌
威尔R.E.P.O.有交叉游戏吗?
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具