arXiv论文“Insertion of real agents behaviors in CARLA autonomous driving simulator“,22年6月,西班牙。
由于需要快速prototyping和广泛测试,仿真在自动驾驶中的作用变得越来越重要。基于物理的模拟具有多种优势和益处,成本合理,同时消除了prototyping、驾驶员和弱势道路使用者(VRU)的风险。
然而,主要有两个局限性。首先,众所周知的现实差距是指现实和模拟之间的差异,阻碍模拟自主驾驶体验去实现有效的现实世界性能。其次,缺乏关于真实智体(人类)行为的实证知识,包括后补司机或乘客以及其他道路使用者,如车辆、行人或自行车手。
智体模拟通常是预编程确定、概率随机或基于真实数据生成的,但并不表示与特定模拟场景交互的真实智体行为。本文提出一个初步框架,实现真实智体和模拟环境(包括自主车辆)之间的实时交互,并从多个视图的模拟传感器生成合成序列数据,用于训练依赖行为模型的预测系统。
该方法将沉浸式虚拟现实(VR)和人体运动捕捉(HMC)系统与CARLA集成,用于自动驾驶。其中描述硬件和软件架构,并讨论所谓的行为差距。
如图所示是该方法概览:(1) CARLA- UE配有头部(VR耳机)和身体(动作捕捉系统)姿势。(2) 生成场景,包括自动驾驶车辆和数字化的行人。(3) 为行人提供环境(通过VR耳机)。(4) 自动车辆传感器感知环境,包括行人。
下面介绍CARLA自动驾驶模拟器中浸入式VR系统的功能。
通过利用UE4提供的功能和外部硬件(如VR眼镜和一组运动传感器)进行行为和交互研究,实现完全行人浸入。
CARLA开源模拟器是在UE4上实现的,UE4提供了高质量的渲染、逼真的物理环境和互操作插件的生态系统。CARLA模拟动态交通场景,并提供UE4创建的虚拟世界与场景内运行的道路智体之间的接口。CARLA被设计成一个服务器-客户端系统来实现这一点,服务器运行模拟程序并渲染场景。客户端和服务器之间的通信通过sockets完成。
在模拟中插入真实智体行为的主要特征基于五点(如图所示):1)Avatar控制:CARLA blueprint库,收集所有角色和属性的架构,修改行人blueprint,在人和虚拟世界之间创建浸入可移动的VR界面;2) 身体跟踪:用一组惯性传感器和专有的外部软件通过真实场景捕捉主体运动以及运动感知,通过.bvh文件将Avatar的运动集成到模拟器中;3) 声音设计:由于CARLA是一个无音频模拟器,在环境中引入位置声音,增强沉浸感;4) eHMI集成:实现自动驾驶车辆状态和意图信息的通信,做交互研究;5) 场景模拟:在CARLA客户端内设计交通场景,控制车辆和行人的行为。
道路使用者之间的通信是交通环境中的一个重要因素。实验中为自动驾驶车辆提供了外部人机界面(eHMI),将其状态和意图传达给实际道路使用者。
如图所示,提出的eHMI设计由沿汽车前部的光带组成。左图无eHMI,右图带eHMI。这可以研究当行人轨迹与虚拟场景车辆轨迹汇聚时,界面对决策的影响。
整个系统架构如图:
CARLA提供了不同的选项来模拟交通和特定的交通场景。用交通管理模块填充具有真实城市交通状况的模拟。每辆车的控制在特定线程执行。通过同步消息传递管理与其他层的通信。
通过设置强制特定行为参数来控制交通流。例如,可以允许汽车超速、忽略红绿灯条件、忽略行人或强制改变车道。
主体集成到包括一个城市3-D模型地图的模拟器。每个地图都基于一个OpenDRIVE文件,描述完整注释的道路布局。该功能允许设计自己的地图,在真实和虚拟环境中再现相同的流量场景,评估模拟器真实行为的集成,并能够通过比较交互结果来进行现场研究。
硬件设置如图:在实验过程中,用Oculus Quest 2作头戴式设备(HMD),Meta创建,6GB RAM处理器、两个可调1832 x 1920透镜、90Hz刷新率和256 GB的内存。Quest 2具有Wi-Fi 6、蓝牙5.1和USB Type-C连接、SteamVR支持和3D扬声器。对于全身跟踪,用带有惯性跟踪器的PNS封装解决方案。该套件包括独立的VR耳机、2个运动控制器、17个Studio惯性人体传感器、14组straps、1个充电箱和1个Studio收发器。
由于CARLA build和Quest 2仅依赖Windows,VR Immersion System目前依赖UE4.24和Windows 10操作系统。用TCP sockets插件,编辑器的所有参与者位置和其他有用参数从Python API发送,集成每个参与者的声音或自动驾驶车辆的eHMI。”VR Preview”在HMD启动游戏。Perception Neuron Studio与Axis Studio合作,Axis Studio一次支持最多3个主题,同时支持23个身体和手指传感器。
如图是交互交通状况的模拟:(a) 3D世界设计。(b) 行人匹配执行者Avatar。(c) 自动驾驶汽车。(d) 环境声音和智体声音。(e) eHMI。(f) 交通灯和交通标志。
以上是在 CARLA自动驾驶模拟器中添加真实智体行为的详细内容。更多信息请关注PHP中文网其他相关文章!

arXiv论文“Insertion of real agents behaviors in CARLA autonomous driving simulator“,22年6月,西班牙。由于需要快速prototyping和广泛测试,仿真在自动驾驶中的作用变得越来越重要。基于物理的模拟具有多种优势和益处,成本合理,同时消除了prototyping、驾驶员和弱势道路使用者(VRU)的风险。然而,主要有两个局限性。首先,众所周知的现实差距是指现实和模拟之间的差异,阻碍模拟自主驾驶体验去实现有效的现实世界

特斯拉是一个典型的AI公司,过去一年训练了75000个神经网络,意味着每8分钟就要出一个新的模型,共有281个模型用到了特斯拉的车上。接下来我们分几个方面来解读特斯拉FSD的算法和模型进展。01 感知 Occupancy Network特斯拉今年在感知方面的一个重点技术是Occupancy Network (占据网络)。研究机器人技术的同学肯定对occupancy grid不会陌生,occupancy表示空间中每个3D体素(voxel)是否被占据,可以是0/1二元表示,也可以是[0, 1]之间的

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

gPTP定义的五条报文中,Sync和Follow_UP为一组报文,周期发送,主要用来测量时钟偏差。 01 同步方案激光雷达与GPS时间同步主要有三种方案,即PPS+GPRMC、PTP、gPTPPPS+GPRMCGNSS输出两条信息,一条是时间周期为1s的同步脉冲信号PPS,脉冲宽度5ms~100ms;一条是通过标准串口输出GPRMC标准的时间同步报文。同步脉冲前沿时刻与GPRMC报文的发送在同一时刻,误差为ns级别,误差可以忽略。GPRMC是一条包含UTC时间(精确到秒),经纬度定位数据的标准格

2 月 16 日消息,特斯拉的新自动驾驶计算机,即硬件 4.0(HW4)已经泄露,该公司似乎已经在制造一些带有新系统的汽车。我们已经知道,特斯拉准备升级其自动驾驶硬件已有一段时间了。特斯拉此前向联邦通信委员会申请在其车辆上增加一个新的雷达,并称计划在 1 月份开始销售,新的雷达将意味着特斯拉计划更新其 Autopilot 和 FSD 的传感器套件。硬件变化对特斯拉车主来说是一种压力,因为该汽车制造商一直承诺,其自 2016 年以来制造的所有车辆都具备通过软件更新实现自动驾驶所需的所有硬件。事实证

arXiv论文“Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline“, 2022年6月,上海AI实验室和上海交大。当前的端到端自主驾驶方法要么基于规划轨迹运行控制器,要么直接执行控制预测,这跨越了两个研究领域。鉴于二者之间潜在的互利,本文主动探索两个的结合,称为TCP (Trajectory-guided Control Prediction)。具

什么是交通标志识别系统?汽车安全系统的交通标志识别系统,英文翻译为:Traffic Sign Recognition,简称TSR,是利用前置摄像头结合模式,可以识别常见的交通标志 《 限速、停车、掉头等)。这一功能会提醒驾驶员注意前面的交通标志,以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能,避免了违法左转或者无意的其他交通违法行为,从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法,根据不同地区的交通标志来进行调整。交通标志识别原理交通标志识别又称为TS

定位在自动驾驶中占据着不可替代的地位,而且未来有着可期的发展。目前自动驾驶中的定位都是依赖RTK配合高精地图,这给自动驾驶的落地增加了不少成本与难度。试想一下人类开车,并非需要知道自己的全局高精定位及周围的详细环境,有一条全局导航路径并配合车辆在该路径上的位置,也就足够了,而这里牵涉到的,便是SLAM领域的关键技术。什么是SLAMSLAM (Simultaneous Localization and Mapping),也称为CML (Concurrent Mapping and Localiza


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

Dreamweaver CS6
视觉化网页开发工具

SecLists
SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境