検索
ホームページテクノロジー周辺機器AIネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

数日前、OpenAI はメジャー アップデートを行い、2 つの新しいテキスト埋め込みモデルを含む 5 つの新しいモデルを一度に発表しました。

埋め込みとは、自然言語やコードなどで概念を表すために数値シーケンスを使用することです。これらは、機械学習モデルやその他のアルゴリズムがコンテンツ間の関係をより深く理解し、クラスタリングや検索などのタスクを実行しやすくするのに役立ちます。

一般に、より大きな埋め込みモデル (取得のためにベクトル メモリに保存されたものなど) を使用すると、より多くのコスト、計算能力、メモリ、およびストレージ リソースが消費されます。ただし、OpenAI によって開始された 2 つのテキスト埋め込みモデルは、異なるオプションを提供します。 まず、text-embedding-3-small モデルは小さいですが効率的なモデルです。リソースが限られた環境でも使用でき、テキスト埋め込みタスクを処理するときに優れたパフォーマンスを発揮します。 一方、text-embedding-3-large モデルはより大きく、より強力です。このモデルは、より複雑なテキスト埋め込みタスクを処理し、より正確で詳細な埋め込み表現を提供できます。ただし、このモデルを使用するには、より多くのコンピューティング リソースとストレージ スペースが必要になります。 したがって、特定のニーズとリソースの制約に応じて、コストとパフォーマンスの関係のバランスをとるために適切なモデルを選択できます。

両方の新しい埋め込みモデルは、開発者が埋め込みのパフォーマンスとコストをトレードオフできるトレーニング手法を使用して実行されます。具体的には、開発者は、埋め込みを次元 API パラメーターに渡すことで、概念的表現のプロパティを失うことなく、埋め込みのサイズを短縮できます。たとえば、MTEB ベンチマークでは、text-embedding-3-large はサイズ 256 に短縮できますが、それでも短縮されていない text-embedding-ada-002 埋め込み (サイズ 1536) よりも優れたパフォーマンスを発揮します。このようにして、開発者は特定のニーズに基づいて適切な埋め込みモデルを選択でき、パフォーマンス要件を満たすだけでなくコストも制御できます。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

#このテクノロジーのアプリケーションは非常に柔軟です。たとえば、最大 1024 次元の埋め込みのみをサポートするベクター データ ストアを使用する場合、開発者は最適な埋め込みモデル text-embedding-3-large を選択し、次元 API に値 1024 を指定することで埋め込み次元を 3072 から変更できます。パラメータ。1024 に短縮されます。これを行うとある程度の精度が犠牲になる可能性がありますが、より小さいベクトル サイズを取得できます。

OpenAI が使用する「短縮エンベディング」手法は、その後、研究者の間で広く注目を集めました。

この手法は、2022年5月の論文で提案された「マトリョーシカ表現学習」手法と同じであることが判明しました。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

OpenAI の新しい埋め込みモデルの更新の背後に、@adityakusupati らが提案したクールな埋め込み表現が隠されています。テクノロジー。

そして、MRL の作成者の 1 人である Aditya Kusupati 氏も次のように述べています。「OpenAI は、検索と RAG 用の v3 組み込み API でデフォルトで MRL を使用します! 他のモデルやサービスもすぐに追いつくはずです」 ."

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

それでは、MRL とは一体何でしょうか?効果はどうですか?すべては以下の 2022 年の論文に記載されています。

#MRL 論文紹介

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

  • ##論文タイトル: マトリョーシカ表現学習
  • 論文リンク: https://arxiv.org/pdf/2205.13147.pdf
研究者が提起した疑問は、異なるコンピューティング リソースを使用する複数の下流タスクに適応するように柔軟な表現方法を設計できるかということです。

MRL は、O (log (d)) 個の低次元ベクトルをネストされた方法で明示的に最適化することで、同じ高次元ベクトル内の異なる容量の表現を学習します。そのため、マトリョーシカ「ロシア語」という名前が付けられました。マトリョーシカ人形」。 MRL は既存の表現パイプラインに適応でき、コンピューター ビジョンや自然言語処理の多くの標準タスクに簡単に拡張できます。

図 1 は、MRL の中心的なアイデアと、学習されたマトリョーシカ表現の適応展開セットアップを示しています。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

最初のm 次元 (m∈[d]) は、追加のトレーニング コストを必要とせず、独立してトレーニングされた m 次元表現と同じくらい正確な、情報が豊富な低次元ベクトルです。 Matryoshka 表現の情報内容は次元の増加とともに増加し、大規模なトレーニングや追加の展開オーバーヘッドを必要とせずに、粗い表現から細かい表現までを形成します。 MRL は、ベクトルの特性評価に必要な柔軟性と多重忠実度を提供し、精度と計算量の間で最適に近いトレードオフを保証します。これらの利点により、MRL は精度と計算上の制約に基づいて適応的に導入できます。

この作業では、現実世界の ML システムの 2 つの主要な構成要素である大規模な分類と検索に焦点を当てます。

研究者らは分類のために適応カスケードを使用し、MRL によってトレーニングされたモデルによって生成された可変サイズ表現を使用したため、特定の精度を達成するのに必要な時間が大幅に短縮されました。たとえば、ImageNet-1K では、MRL 適応分類により、ベースラインと同じ精度で表現サイズが最大 14 倍削減されます。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

同様に、研究者は適応検索システムでも MRL を使用しています。クエリが与えられると、クエリ埋め込みの最初のいくつかの次元が検索候補をフィルタリングするために使用され、その後、さらに多くの次元が検索セットの順序を変更するために使用されます。このアプローチの簡単な実装では、標準の埋め込みベクトルを使用した単一検索システムと比較して、FLOPS で理論上の速度の 128 倍、実測時間の 14 倍を達成します。MRL の検索精度は単一検索の精度に匹敵することに注意することが重要です (セクション 4.3.1)。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

最後に、MRL は表現ベクトルを粗いものから細かいものまで明示的に学習するため、直感的には異なる次元間で共有される必要があります。より多くの意味情報 (図 5) 。これはロングテール連続学習設定に反映されており、元の埋め込みと同じくらい堅牢でありながら、精度を最大 2% 向上させることができます。さらに、MRL は粒度が粗いため、粒度が細かいため、インスタンスの分類のしやすさや情報のボトルネックを分析する方法としても使用できます。

ネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露

研究の詳細については、論文の原文を参照してください。

以上がネットユーザーが OpenAI の新モデルで使用されている埋め込みテクノロジーを暴露の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
迅速なエンジニアリングにおける思考のグラフは何ですか迅速なエンジニアリングにおける思考のグラフは何ですかApr 13, 2025 am 11:53 AM

導入 迅速なエンジニアリングでは、「思考のグラフ」とは、グラフ理論を使用してAIの推論プロセスを構造化および導く新しいアプローチを指します。しばしば線形sを含む従来の方法とは異なります

Genaiエージェントとの電子メールマーケティングを組織に最適化しますGenaiエージェントとの電子メールマーケティングを組織に最適化しますApr 13, 2025 am 11:44 AM

導入 おめでとう!あなたは成功したビジネスを運営しています。ウェブページ、ソーシャルメディアキャンペーン、ウェビナー、会議、無料リソース、その他のソースを通じて、毎日5000の電子メールIDを収集します。次の明白なステップはです

Apache Pinotによるリアルタイムアプリのパフォーマンス監視Apache Pinotによるリアルタイムアプリのパフォーマンス監視Apr 13, 2025 am 11:40 AM

導入 今日のペースの速いソフトウェア開発環境では、最適なアプリケーションパフォーマンスが重要です。応答時間、エラーレート、リソース利用などのリアルタイムメトリックを監視することで、メインに役立ちます

ChatGptは10億人のユーザーにヒットしますか? 「わずか数週間で2倍になりました」とOpenai CEOは言いますChatGptは10億人のユーザーにヒットしますか? 「わずか数週間で2倍になりました」とOpenai CEOは言いますApr 13, 2025 am 11:23 AM

「ユーザーは何人いますか?」彼は突き出した。 「私たちが最後に言ったのは毎週5億人のアクティブであり、非常に急速に成長していると思います」とアルトマンは答えました。 「わずか数週間で2倍になったと言った」とアンダーソンは続けた。 「私はそのprivと言いました

PIXTRAL -12B:Mistral AI'の最初のマルチモーダルモデル-Analytics VidhyaPIXTRAL -12B:Mistral AI'の最初のマルチモーダルモデル-Analytics VidhyaApr 13, 2025 am 11:20 AM

導入 Mistralは、最初のマルチモーダルモデル、つまりPixtral-12B-2409をリリースしました。このモデルは、Mistralの120億個のパラメーターであるNemo 12bに基づいて構築されています。このモデルを際立たせるものは何ですか?これで、画像とTexの両方を採用できます

生成AIアプリケーションのエージェントフレームワーク - 分析Vidhya生成AIアプリケーションのエージェントフレームワーク - 分析VidhyaApr 13, 2025 am 11:13 AM

クエリに応答するだけでなく、情報を自律的に収集し、タスクを実行し、テキスト、画像、コードなどの複数のタイプのデータを処理するAIを搭載したアシスタントがいることを想像してください。未来的に聞こえますか?これでa

金融セクターにおける生成AIの応用金融セクターにおける生成AIの応用Apr 13, 2025 am 11:12 AM

導入 金融業界は、効率的な取引と信用の可用性を促進することにより経済成長を促進するため、あらゆる国の発展の基礎となっています。取引の容易さとクレジット

オンライン学習とパッシブアグレッシブアルゴリズムのガイドオンライン学習とパッシブアグレッシブアルゴリズムのガイドApr 13, 2025 am 11:09 AM

導入 データは、ソーシャルメディア、金融取引、eコマースプラットフォームなどのソースから前例のないレートで生成されています。この連続的な情報ストリームを処理することは課題ですが、

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません