Meta は、テキスト、音声、視覚など 6 種類のデータを統合するオープンソースの多感覚人工知能モデルです。

Meta Inc. は、テキスト、オーディオ、ビジュアル データ、温度と動きの測定値などを含む複数のデータ ストリームを統合する新しいオープンソースの人工知能モデルである ImageBind をリリースしました。このモデルは現在単なる研究プロジェクトにすぎず、消費者への直接的な応用や実用化はまだありませんが、没入型で多感覚の体験を生み出すことができる将来の生成 AI システムの可能性を示しています。同時に、このモデルは、OpenAI や Google などの競合他社がますます閉鎖的になる一方で、人工知能研究の分野における Meta のオープンな姿勢も示しています。

#研究の核となるコンセプトは、複数の種類のデータを多次元インデックス (人工知能の用語では「埋め込み空間」) に統合することです。この概念は少し抽象的かもしれませんが、最近の生成人工知能ブームの基礎となっています。たとえば、DALL-E、Stable Diffusion、Midjourney などの AI 画像ジェネレーターは、トレーニング段階でテキストと画像を結び付けるシステムに依存しています。彼らは、この情報を画像の説明に結び付けながら、視覚データ内のパターンを探します。これらのシステムがユーザーのテキスト入力に基づいて画像を生成できるのはこのためです。同じ方法でビデオやオーディオを生成できる多くの AI ツールにも同じことが当てはまります。

Meta によれば、そのモデル ImageBind は 6 種類のデータを単一の埋め込みスペースに統合した初めてのモデルです。 6 種類のデータには、視覚 (画像とビデオを含む)、熱画像 (赤外線画像)、テキスト、音声、深度情報、そして最も興味深いのは、慣性測定ユニット (IMU) によって生成される運動測定値が含まれます。 (IMU は携帯電話やスマートウォッチに搭載されており、携帯電話を横向きから縦向きに切り替えることから、さまざまな種類の動きを区別するまで、さまざまなタスクを実行するために使用されます。)

将来の AI システムは、タスクを実行できるようになります。テキスト入力システムと同様に、このデータを相互参照します。たとえば、オーディオおよびビジュアル入力だけでなく、環境や物理プラットフォームの動きも生成できる将来の仮想現実デバイスを想像してください。長い海の旅を疑似体験してもらうと、波の音を背景に船に乗るだけでなく、足元で甲板が揺れ、海風が吹くのを感じることもできます。

メタ氏はブログ投稿で、将来のモデルでは「触覚、音声、匂い、脳のfMRI信号」などの他の感覚入力ストリームも追加できる可能性があると指摘した。同社はまた、この研究により、「機械がさまざまな形の情報から同時に、包括的に、直接学習する人間の能力に近づくことができる」と主張しています。

もちろん、この多くは予測に基づいています。この研究の直接的な応用は非常に限られている可能性が高い。たとえば昨年、Meta 社は、テキストの説明に基づいて短くぼやけたビデオを生成できる AI モデルを実証しました。 ImageBind などの研究では、システムの将来のバージョンで、ビデオ出力に一致するオーディオの生成など、他のデータ ストリームを組み込む方法が示されています。

業界観察者にとって、この調査も興味深いものです。なぜなら、IT House は、メタ カンパニーが基礎となるモデルをオープンソース化していることに気づいたからです。これは、人工知能の分野でますます注目を集めている実践です。

以上がMeta は、テキスト、音声、視覚など 6 種類のデータを統合するオープンソースの多感覚人工知能モデルです。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。