The live scene is shocking! The OmAgent framework is now open source! Industry applications have fully blossomed

自動運転を最初に提案、開発した企業は偶然にも Google であり、同社がリリースした Transformer モデルは今日の大型モデルの開発の基礎を築きました。

自動運転は概念から現実への華麗な変革を完了し、従来の運転方法を完全に再構築しており、大型模型業界が経験していることはまさに自動運転技術開発の伝説的な旅のようです -

トップの研究開発チームはそれに参加しようと競い合い、製品の技術革新は加速し続け、時代を先取りし、ユーザー エクスペリエンスは極限まで追い込まれ続けています。

大規模なモデル回路において、常に最前線に立ち、業界の限界を押し広げてきた企業があります。

なぜLianhui Technologyなのか?

業界が最初に大型モデルに注目し始めたとき、すでにマルチモーダル大型モデルを固定しており、工業情報化省から大型モデル試験のNo.001証明書を高いスコアで取得していました。 「100モデルの戦い」が注目された年、自社開発したOmModelマルチモーダル大型モデルのV3バージョンをリリースしただけでなく、国内初の大型モデル駆動型自律エージェントアプリケーションもリリースした。

今年、世界人工知能会議中に、

彼らは再び一連の技術成果を発表し、大型モデル技術製品をより深く幅広い応用レベルに押し上げました

。 Lianhui Technology の技術チームは強力な先進的思考を持っており、主任科学者の Zhao Tiancheng 博士と密接に関係しています。この学生は、国際的な AI 分野のトップ学者である Maxine Eskenazi の下で学び、CMU LTI (カーネギー) で学びました。メロン大学言語学院）を卒業し、修士号と博士号を取得した才能ある青年であるが、趙天成氏は「AI 分野で誠実な人物」と言えるだけでなく、さらに珍しいのはそのユニークな点である。技術開発と戦略計画における洞察。

Zhao Tiancheng 博士は、AI が主導する産業革命の第 4 波では、自律知能が変化の中心変数になると指摘しました。人間が初めて創造的知性の秘密に触れ、その秘密を習得するとき、

私たちは新しい時代の到来を目の当たりにするでしょう

- この時代では、機械、ソフトウェア、さらにはシステムに前例のない自律的な意思決定能力が与えられ、さまざまな作業分野で広く使用され、これまでにない効率と革新を実現します。 2024 年はインテリジェント エージェント元年です。

現在は L2 レベルにあり、徐々に L3、L4 に向かって進んでいます。

OmAgent はここにあります!

WAIC期間中、

Lianhui Technologyは第2世代マルチモーダルエージェントOmAgent

を正式にリリースしました。 昨年の同時期、Lianhui Technology は業界をリードし、マルチモーダル大型モデルによって駆動される自律エージェントの最初のバッチを中国でリリースしました。それでは、Lianhui の第 2 世代マルチモデルは何を驚かせますか。今年はモーダル エージェント OmAgent が登場しますか?

1 つ目は、知覚モジュールの新しいアップグレードです。

AI アプリケーションの実装により、Lianhui Technology は、万物知覚モデルにはインテリジェントな認識と処理において大きな可能性があるものの、推論速度のボトルネックによって制限されることを発見しました。推論速度における小型モデルの利点と比較すると、Idealab の G-DINO と Lianhui Technology の OmDet は速度のパフォーマンスが不十分であり、エッジ コンピューティング デバイスでのアプリケーションが大幅に制限されます。

Lianhui Technology がリリースした最新の

OmDet V2 は、あらゆるものの知覚の包括的な加速を実現します

。これは、あらゆるものの知覚のモジュールを根本から再構築し、一連のモデル加速最適化テクノロジーとキャッシュ、軽量機能のエンコードとデコードなどのテクノロジーは、G-DINO や Lianhui の第 1 世代の認識モデルと比較して、すべてのリンクで 20 倍以上高速な EFH メカニズムの最適化の恩恵を受けています。 。

このような改善は、OmDet V2 が将来のエッジ AI と身体化インテリジェンスの新たな可能性を開くことを意味します。

OmDet V2 の推論速度と正確な分析機能により、単一の GPU で 500 ビデオ ストリームのリアルタイムのすべてを認識した分析を実行できます。これは、技術的なパフォーマンスが新しくなりました。同時に、これはエッジ AI の可能性を開くことも意味します。OmDet V2 により、あらゆるものの認識モデルがクラウドの制約を取り除き、エッジ デバイスにアクセスできるようになり、次のような最先端のアプリケーションに強力なインテリジェント サポートが提供されます。人型ロボットと家庭用インテリジェント コンピューティング センター。

このイノベーションは、大規模モデル製品の開発の考え方を再定義するだけでなく、よりリアルタイムで安全でプライバシーを重視した大規模モデル アプリケーション環境を構築するための基盤も築きます。

2つ目は、

思考力と意思決定能力

の向上です。

思考はマルチモーダル エージェントの中核です。思考能力があって初めて、エージェントは知覚と記憶の結果に基づいて意思決定を行い、自律的に行​​動し、真のアシスタントになることができます。ただし、既存のマルチモーダル思考モデルには明らかな限界があります。たとえば、単一の図に基づいてしか考えて意思決定を行うことができず、関連する複数の図を理解して処理することはできません。 この問題を解決するために、

Lianhui Technology は、マルチモーダル モデルのネイティブ事前トレーニングに基づく大規模な生成モデルである第 2 世代の大規模思考モデル OmChat V2 を新たにリリースしました。これは、8B の複数のバージョンを提供するだけでなく、 40Bと60Bですが、さまざまなニーズに合わせて適しています。また、ビデオ、画像とテキストの混合、テキストなどのさまざまな複雑な入力を非常に適切にサポートし、エージェントの意思決定プロセスに必要な複雑なシナリオに完全に適応します。

OmChat V2 は、最大 512K および 500,000 のコンテキスト長をサポートします。これは、30 分のビデオの長さに相当し、Google Gemin-1.5 に次いで 2 番目であり、GPT-4o および Microsoft LLaVa-1.5 をはるかに上回ります。

OmChat V2 の平均パフォーマンスは、Mantis-Eval、Q-Bench、MileBench Real、MVBench およびその他のテストにおいて業界の最前線にあります。

よりシンプルで直接的な言い方は、OmChat V2 はタイミングの関係を正確に確認できるだけでなく、複数のグラフの関係も理解できるということです。

^{時系列関係判断 图 マルチマップ関係理解}

ビッグモデルとスマートテクノロジーを真に地に足を踏み入れることができるようにするために、Lianhui Technology は完成をリードしました。効率的なスパース アクティベーションと動的エキスパート手法により、さまざまな国内 GPU を使用した適応とパフォーマンスの検証により、推論効率が 20 倍向上します。また、Om OS 大規模モデル実行プラットフォームは、マルチリージョンの大規模モデル分散推論プラットフォーム、ヘテロジニアスを初めてサポートします。 Jiutou Snake 推論により、コンピューティング能力の使用率が 3 倍増加します。

^{これに関して、Lianhui Technology は多数の業界アプリケーション シナリオを正式に公開しました。}

映画やテレビドラマの内容の解体

mAgent フレームワークは完全にオープンソースです。 Lianhui Technology は、マルチモーダル エージェント テクノロジーで数々の画期的な成果を上げています。オープンソースにするかどうかの問題に関して、Zhao Tiancheng 博士は常に、よりマクロで長期的な視点からそれを検討しています。

彼は次のように述べています: 私たちが OmAgent フレームワークを完全にオープンソースにすることにしたのは、より多くの企業や開発者が参加することを奨励し、知識の共有と技術革新を通じてよりオープンで豊かなインテリジェント エージェント エコシステムを構築し、業界全体を推進できるようにしたいからですよりインテリジェントな発展を目指します。

OmAgent フレームワークには、知覚、記憶、意思決定などの包括的なモジュールが含まれているだけでなく、OmDet や OmChat などのさまざまな種類の大規模モデル機能も統合されており、企業や開発者のアプリケーション開発が大幅に促進され、インテリジェントなアプリケーション開発が促進されます。さまざまなレベルおよびより広い領域でのエンパワーメントをさらに強化するエージェント テクノロジー

。

OmAgent を通じて、さまざまなシナリオの複雑な問題を迅速かつ正確に解決できます。たとえば、映画やドラマでは、ある質問に対する答えが必ず見つかります。映画の中で直接答えが提示されるわけではありませんが、OmAgent は映画全体の全体像を理解することでストーリーを把握し、それに基づいて考えて答えることができます。オリジナルの映画コンテンツ。

ステップ01

Step 02

Step 03

Step 04

Currently, the OmAgent framework is fully Open source.

At WAIC, Lianhui Technology gave a complete live interactive demonstration of OmAgent.

In order to integrate intelligent agents into daily work and life more quickly, Lianhui officially released Om, a new product series of multi-modal agents - space operation agents and knowledge service agents , for industry users Create a “super assistant”.

Space operation intelligence is a comprehensive perception of the physical environment of space through IoT devices such as cameras and pickups, as well as various accessed data sources, deeply integrated into the thinking ability of large models, and accurately processes and analyzes multi-modal data information. Insight into key issues and potential opportunities in operations, based on the target tasks set by the agent's role, combined with memory and learning, enables thinking, planning and decision-making for physical space, becoming a powerful assistant for users in space management.

The application scope covers various single spaces and chain environments such as offline retail, business halls, computer rooms, industrial parks, cultural tourism scenic spots, urban blocks, etc., to achieve refined operation and management of space.

Compared with the operation and management of the real physical world by space operation agents, knowledge service agents place more emphasis on the management of the digital world and the value mining of digital assets.

It can be used as an artificial intelligence assistant customized for the industry. It is widely used in office, production, operation and maintenance, marketing, training, customer service and other scenarios, integrating the experience and technology accumulated by enterprises, organizations and individuals in specific fields. , business processes, etc. into structured industry-specific knowledge. Through core capabilities such as knowledge management, knowledge retrieval, knowledge Q&A, and knowledge generation, it improves the quality of user decision-making, optimizes operating processes, and ultimately transforms intangible knowledge assets into tangible productivity.

2024 will undoubtedly be the first year of intelligent agents, and intelligent agents are becoming the best way to implement large models.

Regarding the future, Dr. Zhao Tiancheng revealed his prediction -

• The future of intelligent agents is not to fight alone, but to combine large models, especially when multiple types of large models work together. They unlock potential far beyond that of a single large language model.

• Agents will break the boundaries of traditional chatbots, and their application forms will undergo an innovation, becoming more diverse and penetrating into all aspects of human activities.

• With the rise of edge AI, large models will no longer be limited to large servers, they will go to the edge and be embedded in many small devices, achieving true ubiquity.

The above is the detailed content of The live scene is shocking! The OmAgent framework is now open source! Industry applications have fully blossomed. For more information, please follow other related articles on the PHP Chinese website!