根据2024年1月2日映维网的报道,用于XR头显的眼动追踪技术正在快速发展。这种技术可以通过分析用户眼睛的指向和从眼睛反射的红外光信号来追踪眼动并确定用户的注视方向。例如,一种常见的技术是在头戴式显示器上安装一个或多个红外光源,从不同的方向向用户的眼睛发射红外光。传感器可以检测到从用户眼睛反射出的红外光(闪烁),并用于确定用户眼睛的XYZ位置和注视方向。
为了提高红外眼动追踪系统的准确性和处理能力,通常需要在用户的眼睛周围安放几个不同的红外光源。这些光源会在角膜上产生不同的闪烁效果。通过对这些闪烁效果的分析,系统可以更准确地追踪用户的眼动情况。这种方法可以提高系统的追踪精度,并且能够处理更复杂的眼动行为。
很遗憾,传统的XR系统在使用红外光源进行定位时存在一些限制。通常情况下,传统系统将红外光源放置在头显的边缘或其他安装了显示透镜和屏幕的结构中。然而,这种外围位置并不总是最佳的选择,因此需要增加更多的光源或使用更大、更强大的光源。如果能够将光源相对于用户的眼睛虹膜放置得更近或更优,则不需要额外的光源。
为了解决混合现实环境中用户视角的视觉障碍问题,XR系统尝试了一种新的方法,即将红外光源放置在远离显示屏边缘的位置,并靠近眼睛放置在用户视场内。然而,这种现有系统存在问题,因为红外光源的尺寸通常在1.0毫米至4.0毫米直径/宽度范围内,这样的尺寸在用户视场中非常明显。因此,为了减少对用户视角的影响,大多数传统系统只将红外光源定位在透镜/显示器外围边缘的次优位置。
针对这个问题,微软提出了一项名为“Microled based invisible illumination for eye tracking”的专利申请,提供了一种解决方案。根据微软的表示,这项发明可以让红外光源以最佳方向直接照射在头戴式显示器透镜的观看区域内,而不会干扰用户对混合现实环境的感知。这种解决方案还能够定位用户的眼睛/虹膜和相应的摄像头传感器,为眼动追踪技术提供支持。
该公司提出了一种方法,利用小于100 μm的红外μLED光源来制作照明透镜结构。这种μLED被嵌入到头显的透镜中,用户无法察觉到其存在。因此,在使用过程中,这种μLED不会对混合现实环境的呈现造成任何阻碍或干扰。
现在我们来关注一下图1,头戴式设备的配置是基于摄像头130或其他传感器捕捉光线的反射来进行眼动追踪。在使用过程中,光源会围绕着用户的眼睛发出闪光。一旦光线发出后,它会从用户的眼睛(尤其是虹膜)反射回来,并被摄像头检测到。
通过感知光的强度和强度相对于光源的时间,头显光处理模块能够准确检测用户眼睛和虹膜的位置和方向。
系统可以通过对摄像头/传感器捕获的图像进行额外处理,来区分用户的瞳孔和虹膜。这种处理后的图像可以帮助系统确定用户眼睛的位置以及用户眼睛相对于投影全息图或其他对象的方向和注视点。利用用户眼睛的位置信息,系统还可以在需要的位置进行定位,并重新投影全息图,以支持混合现实环境的呈现。
图2示出用户眼睛200的表示,其中红外光源210向用户眼睛200发射红外光220。红外光反射回来作为镜面反射和散射反射。图2同时显示了如何放置摄像头250或其他传感器以检测一个或多个反射。
通过光源的位置、光源发出光的时间、摄像头的位置以及从用户眼睛反射的检测光反射的测量强度和时间,系统可以确定用户眼睛/虹膜的相对定位。这是因为光线在用户眼睛的不同部位反射的不同,例如它在角膜的瞳孔和虹膜区域的反射不同于巩膜。这种差异的检测和测量是基于反射是镜面反射或散射反射。
为了光源能够优化定位,例如靠近用户的角膜,需要将光源定位在合适的位置。但遗憾的是,传统的红外光源太大(例如1-4毫米),无法在用户的视场范围内定位而不会对用户通过透镜查看环境造成阻碍。
为了帮助解决这些问题,微软提出可以采用配置有红外μLED的照明透镜。通过这种配置,可以将光源最佳地放置在靠近用户眼睛的位置,而不必考虑头显安装结构的物理形状因素所施加的现有限制。
图3示出具有以网格方式排列的16个红外μLED的红外μLED透镜结构300。红外μLED放置在透明衬底310之上,沿着导电迹线320在阳极端和阴极端之间形成电路。例如,当电路由头显的电源供电时,电源可以电连接到阳极和阴极端子并由照明控制单元控制,红外μLED将激活并发出红外光。
红外μLED的发光波长在790 μm ~ 1mm之间。在优选实施例中,红外μLED发射波长约为800-900 μm的光,甚至更优选地发射波长约为850 μm的光。
图4A-4D显示了不同照明透镜结构的不哦她那个红外μLED数量不同。具体地说,在图4A,红外uLED的分布模式有点圆形/椭圆形,但在图4C中有点矩形,在图4D中有点菱形。另一方面,图4B所示的实施例包括两种不同的图案,圆形/椭圆形的外部图案和三角形的内部图案。
另外,照明透镜结构400A由6个红外uLED组成,而照明透镜结构400C和400D各由8个红外uLED组成。照明透镜结构400B包含19个红外uLED。
红外uLED的不同数量和模式可以改变,以适应不同的需求和偏好。
在图5中,头显500配置有透明照明透镜结构510,透镜结构510具有多个红外μLEDs 540。如图所示,红外μLEDs 540呈圆形分布,每个眼睛和晶状体区域各8个。不同的红外μLEDs 540可以选择接在单个电路或两个或更多不同的电路。形成电路的电迹线没有显示出来。
在使用期间,从红外uLED发出的光将至少部分地指向用户的眼睛,并且光将反射回来并由设备摄像头530检测到。
图6示出一副眼镜600的实施例,眼镜600具有包括四个红外uLED的第一透明照明透镜结构610和包括八个红外uLED的第二透明照明透镜结构620。
这个例子用来说明头显的两侧不一定要有匹配/对称的红外uLED分布。无论红外uLED的数量和分布如何,应当理解的是,在使用期间,从红外uLED发出的光将至少部分地指向用户的眼睛,并且光可以反射回来并由设备摄像头630检测到。
在相关实施例中,图7所示的头显系统700包括具有遮阳板的透明照明透镜结构710。在这个例子中,遮阳板的一侧有数个形成圆形图案的红外uLED。遮阳板的另一侧有四个红外uLED,呈方形分布。
关于前面所有的例子,红外uLED没有显示成比例。事实上,红外uLED非常小(
同样是因为红外LED非常小,所以它们可以用来用红外光照亮用户的眼睛,并且同时定位在用户通过的透镜而不会阻碍用户通过透镜的视场。
导电迹线非常薄,宽度小于50 μm,甚至小于25 μm,所以在接近用户眼睛使用时,它们在视觉上并不明显,基本不可见。这种配置特别有利于使迹线能够定位在照明透镜结构内部。即便直接定位在用户眼睛的前面,它使用过程中都不会妨碍用户通过透镜感知到的环境视图。
图8可视化了用于制造发明所述照明透镜结构的制造流程。
如图所示,制造过程包括获得包含一个或多个红外μLED的晶圆810。例如,晶圆810可以是通过外延生长或沉积工艺形成的外延晶圆。
图8所示的工艺800同时包括获得用于将红外uLED转移到其上的衬底820。如图所示,执行转移过程830以将一个或多个红外uLED转移到已经位于衬底820上并且在衬底上形成一个或多个不同电路827的导电迹线825。
从衬底上移除并放置在衬底上的红外μLED的尺寸在任何方向都限制在
红外uLED的最大尺寸尺寸可以小于75 μm,小于50 μm,甚至小于20 μm。在一个实施例中,红外uLED的最大尺寸尺寸约为10 μm。
迹线的宽度同样受到限制,厚度不能大于
图9示出了与配置用于执行眼动追踪的流程图900,其中头显包括包含多个红外μLED的照明透镜,并且多个红外μLED中的每个红外μLED具有
系统组件控制红外uLED的照明,从照明透镜中的一个或多个红外uLED向用户的眼睛发射红外光。
接下来,头显进一步配置为检测和处理在使用头显期间从用户眼睛反射回来的红外光的闪烁,并根据检测和处理的闪烁确定用户眼睛的定位。
现在将注意力转向图10,图10说明了与使用多个红外uLED制造照明透镜结构的流程图1000。
这包括用于获得透明衬底,将多个迹线应用于透明背板。其中多个迹线导电,并在阳极端子和阴极端子之间形成至少一个电路。
然后,获得红外μLED晶圆,其包含多个红外μLED或可单独提取为最大尺寸
相关专利:Microsoft Patent | Microled based invisible illumination for eye tracking
名为“Microled based invisible illumination for eye tracking”的微软专利申请最初在2023年1月提交,并在日前由美国专利商标局公布。
需要注意的是,一般来说,美国专利申请接收审查后,自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意,专利申请公开不代表专利获批。在专利申请后,美国专利商标局需要进行实际审查,时间可能在1年至3年不等。
以上是红外μLED照明透镜结构微软AR/VR专利中实现任意给定方向的方法的详细内容。更多信息请关注PHP中文网其他相关文章!