超强的泛化能力,让大模型成为「通用人工智能」的一缕曙光。
然而,读万卷书,不如行万里路,在开放环境中,大模型需要真正地「走」进物理世界,才能切实地理解复杂任务、解决实际问题。
最近,李学龙教授的团队进行了关于开放环境中自主无人机集群的创新研究。他们利用国产大型模型成功实现了在开放环境中的人机和多机对话交互,打破了人类与机器之间的交互壁垒。这一研究进一步扩展了临地安防的应用场景,让大型无人机在现实生活中翱翔
受到人类认知模式的启发,我们的团队将高度自主的认知过程归纳为「思维计算—实体控制—环境感知」的三元交互,并建立了基于「书生·浦语」开源大模型驱动的自主无人机「群聊式」控制框架。我们为每架无人机搭载了智能大脑,使得无人机群体能够通过语言沟通动态协同,实现在开放环境和复杂任务中的智能交互、主动感知和自主控制。这一举措提高了无人机任务执行的自主性
总的来说,自主无人机集群的主要能力包括类人对话交互、主动环境感知和自主实体控制
类人对话交互
图1 无人机群聊沟通
探索人类用户与无人机的交互方式,让无人机理解复杂任务中的用户需求,是实现自主无人机的前提条件。
针对此,团队提出「群聊式」对话交互方法,将声音、图像和无人机自身状态等多种信息,通过大模型转换为自然语言的对话形式,实现了用户与无人机,以及无人机与无人机之间自主和直观的交互方式。
为了提高复杂任务的执行稳定性和安全性,团队设计了一套高效的实时反馈机制。这个机制使得无人机能够在任务执行的关键节点通过对话报告自身状态,并寻求用户确认。同时,这套机制还能够大大提高任务执行的效率
主动环境感知
图2 主动发现并靠近目标
图3 动态环境避障
在飞行过程中,无人机主动感知外部环境,实时调整任务规划,是完成复杂任务的关键环节。
为了应对这个问题,团队开发了一种任务引导的主动感知机制,并提出了多传感器融合的低空搜索、动态避障和视觉定位算法
在实际任务执行过程中,根据感知信息和任务目标,我们可以动态调整无人机的飞行路径和观测位姿。我们可以尝试从不同的角度和位置感知周围的世界,逐渐降低环境中的不确定性,以实现高效的信息采集和任务执行
自主控制
图4 自主目标抓取
图5 异构无人机集群协同控制
重点研究是探索复合智能体形态,以增强其处理复杂任务的能力。在大模型时代,这是新型智能体的一个关键领域
为了解决这个问题,研发团队利用无人机平台设计了夹爪等末端执行器,将传统的无人机升级为“飞行机器人”,赋予其抓取能力
同时,还建立了异构无人机集群协同控制机制,并结合环境感知反馈,实时调整无人机编队的飞行状态,以便让集群能够分工合作,执行区域搜索、目标定位和抓取等任务
团队成功尝试将生物智能的「思维计算—实体控制—环境感知」三元交互模式应用于自主智能体中,形成了大型自主无人机集群。这种集群利用大型语言模型、无人机平台与多种传感器,实现了对话交互、主动感知和自主控制。该技术对于安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义
参考文献:李学龙, 临地安防(Vicinagearth security), 中国计算机学会通讯, 18(11), 44-52, 2022年
以上是西工大推出创新无人机控制框架:实现群聊式交互、主动感知环境、自主控制无人机的详细内容。更多信息请关注PHP中文网其他相关文章!

本文解释了术语“频率分析”频率(TF-IDF)技术,这是一种自然语言处理(NLP)的关键工具(NLP),用于分析文本数据。 TF-IDF通过加权TE超过基本词袋方法的局限性

使用兰班释放AI特工的力量:初学者指南 想象一下,通过让她与Chatgpt聊天来向您的祖母展示人工智能的奇观 - 当AI毫不费力地进行对话时,她的脸上的兴奋! Th

MISTRAL大2:深入了解Mistral AI强大的开源LLM Meta AI最近发布的Llama 3.1模型系列很快被Mistral AI揭幕了其迄今为止最大的模型:Mistral flow 2。这个1230亿参数

了解扩散模型中的噪声时间表:综合指南 您是否曾经被AI产生的令人惊叹的数字艺术视觉效果所吸引,并想知道基础机制? 关键要素是“噪声时间表,&quo

使用GPT-4O构建上下文聊天机器人:综合指南 在AI和NLP迅速发展的景观中,聊天机器人已成为开发人员和组织必不可少的工具。 创建真正引人入胜且聪明的聊天的关键方面

本文探讨了建立AI代理的七个领先框架 - 自主软件实体,这些软件实体可以感知,决定和采取行动实现目标。 这些代理人超越了传统的强化学习,利用高级计划和推理

了解统计假设检验中的I型和II型错误 想象一下一项临床试验测试一种新的血压药物。 该试验的结论大大降低了血压,但实际上并非如此。这是一种类型

Sumy:您的AI驱动摘要助理 厌倦了筛选无尽的文件? 强大的Python库Sumy提供了一种简化的解决方案,用于自动文本摘要。 本文探讨了Sumy的功能,指导您通过


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

SublimeText3 英文版
推荐:为Win版本,支持代码提示!

SublimeText3汉化版
中文版,非常好用

适用于 Eclipse 的 SAP NetWeaver 服务器适配器
将Eclipse与SAP NetWeaver应用服务器集成。

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具