Developer tool! XREAL Air 2 ULTRA goes on sale, immersive experience AI development

At 2:00 pm on July 31, Beijing time, the latest member of the XREAL series of AR glasses, XREAL Air 2 Ultra, was officially launched in China. It is currently available on JD.com, Tmall, Douyin and other platforms, with an initial price of 3,999 yuan.

This AR glasses is a flagship product mainly for the developer community. It aims to lower the threshold for developers to enter spatial computing, promote innovation in the field of spatial computing, and establish a more prosperous AR ecosystem.

Empower developers with six core capabilities

As XREAL’s second 6 DoF (Six Degrees of Freedom, six degrees of freedom) full-featured glasses, XREAL Air 2 Ultra is also the only one in the industry that uses dual environment awareness sensors (SLAM) Camera) to implement lightweight AR devices for spatial computing. Equipped with dual environment sensing sensor hardware + software SDK, it supports high-precision and low-latency 6DoF spatial positioning and gesture interaction, which means that the AR interactive experience has entered a new stage.

6DoF technology is an important part of reshaping the AR immersive experience and plays a key role in augmented reality (AR) glasses. It gives a full range of spatial perception capabilities, allowing users to freely move between virtual and reality. shuttle. This technology utilizes dual environment awareness sensors located on both sides of the XREAL Air 2 Ultra to identify feature points and monitor their movement over time as shown in the camera image. Combining the movement of these points with the glasses' IMU sensor data, NRSDK can accurately track the position and orientation of the glasses during spatial navigation. 6DoF tracking not only builds maps in real time, but also integrates spatial anchors to provide developers with detailed information about the physical structures in the environment, thereby enhancing application functionality.

In addition to 6DoF motion tracking, XREAL’s latest software NRSDK built on the cross-platform game engine Unity further strengthens hand tracking and gesture recognition functions, allowing developers to develop applications and inject powerful power into Air 2 Ultra vitality. Among them, the "hand tracking" function of NRSDK is particularly outstanding. It not only stably tracks the position of key points of the hand, but also seamlessly performs real-time recognition of gestures. The recognized hand gestures are intuitively presented from a first-person perspective, allowing developers to interact intuitively, naturally, and immersively with virtual objects in the real world.

Looking more deeply, in addition to 6DoF motion tracking and gesture interaction, NRSDK also has several core capabilities such as plane detection, image recognition, depth grid, spatial anchor point, etc., all of which can be realized through Ultra’s hardware capabilities and fully released. The hardware potential of glasses.

Through the fusion of computer vision and advanced algorithms, NRSDK’s plane detection function can accurately identify horizontal and vertical planes in real time, accurately capture and track environmental features, and draw accurate and dynamic three-dimensional space maps for developers. Developers can use this feature to position 3D objects on surfaces, build custom scenes, and create interactive 3D scenes based on specific requirements.

Depth mesh is also a core function provided by NRSDK, which can generate triangular mesh surfaces with semantic labels in real time. When dealing with virtual content, this mesh plays a key role in real-time occlusion rendering and collision detection, making virtual content better integrated with the real environment. Unlike plane detection, depth meshes are able to detect, reconstruct and interact with a variety of complex surfaces, demonstrating greater versatility.

With the image tracking function, NRSDK can also identify and track specific images, allowing digital objects to have a spatial connection with items in the real world, greatly expanding the possibilities of AR applications. For example, NRSDK can detect a painting on the wall or a book on the table, and it can also track moving images, such as rotating billboards or posters held by pedestrians. This image tracking function can help developers realize virtual content display based on picture objects in the natural environment, bringing practical AR solutions to many fields such as advertising, education, and entertainment.

空間アンカーポイントは重要なAR機能です。今回、NRSDKはXREALグラスに空間アンカーポイント機能を提供し、異なるユーザーが現実世界に固定された同じ仮想オブジェクトを操作できるようにする共有アンカーポイントメカニズムを導入しました。シナリオは新たな可能性を開きます。開発者は、Unity プロジェクトで空間アンカー ポイントを簡単に作成および管理し、物理空間での仮想オブジェクトの正確な配置と永続性を確保することもできます。

ウルトラ グラスは、優れたハードウェア パフォーマンスと NRSDK ソフトウェア機能の密接な統合により、開発者が包括的で没入型の AR エクスペリエンスを実現するための高速な道を切り開いていることがわかります。また、前述の空間コンピューティング テクノロジを多数サポートしているため、Ultra グラスは開発者だけでなく、究極の AR 体験を追求するパイオニア ユーザーや、すでに AR アプリケーション シナリオを備えたエンタープライズ レベルの市場もターゲットにしています。効率的なソリューションを追求し、あらゆる階層の人々が AR の世界を探索するためのプラットフォームとなることができます。

究極の体験を追求するパイオニア AR ユーザーのために、Air 2 Ultra は一流の空間コンピューティング体験を生み出します。 Air 2 Ultra は業界初のチタン合金フレームを追加し、さらなる軽量化と構造強度の向上だけでなく、視覚的にもハイエンドテクノロジーの強い感覚をもたらします。ディスプレイに関しては、Air 2 Ultra は FoV (視野) を 52° に拡大し、4 メートル相当の投影スクリーンを Air 2 の 130 インチから 154 インチに拡大し、エッジの鮮明さを向上させるために最適化されました。視野が広くなり、臨場感が増します。

Air 2 Ultra を Beam Pro と併用すると、AR 業界でユニークな 6DoF ホバリング空間の視聴体験を実現できます。仮想巨大スクリーンは、現実世界に実際に存在しているように感じられ、物理的なものと一致したリアルな外観と感触を実現します。表示装置。 Air 2 Ultraは、将来的にはユーザー向けの製品化されたジェスチャー機能もリリースされ、システムレベルのインタラクション方法として機能すると報告されています。 Ultra+Beam Pro の組み合わせは、AR の未来のための XREAL 独自の統合開発キットと言えます。

実際、Beam ProであろうとXREAL Air 2 Ultraであろうと、Apple Vision Proなどのハイエンドの競合製品と比較して、XREALの新しい空間コンピューティング製品は、より競争力のある価格を採用しながら高いパフォーマンスを維持します。これは費用対効果の高い選択肢であり、AR テクノロジーの普及を促進するという XREAL の究極のビジョンを示しています。

メタバースを抽象的な概念から現実に導く実用的な製品として、AR メガネは国内外のテクノロジー界の注目を集めています。 Apple、Google、Meta、その他の大手企業がいずれも次世代のスペース コンピューティング ポータルに向けて独自の道を歩んでいる中、XREAL はわずか 7 年で世界の AR メガネ市場の最前線に立ち、世界第 1 位の地位に到達しました。 AR メガネ業界での出荷実績は比類のないものであり、この分野における絶対的なイノベーターとして、当社は空間コンピューティングの現在を定義することに努めています。

The above is the detailed content of Developer tool! XREAL Air 2 ULTRA goes on sale, immersive experience AI development. For more information, please follow other related articles on the PHP Chinese website!