データベースが AI 高速レーンの先導、Alibaba Cloud が新しいオープンソース テクノロジー PilotScope をリリース

出典 | 新燕テクノロジー

| ジア・ニンギュ

12 月 20 日、データベースのトップカンファレンスである VLDB2024 で新たな論文が発表され、Alibaba Cloud の新技術 PilotScope が最終候補者リストに選出されました。このプラットフォーム技術は、データベースへの AI アルゴリズムの「ワンクリック展開」を実現することができ、データベース内の AI アルゴリズムの数を削減し、アプリケーションのしきい値によってデータベース インテリジェンスに新たな道が開かれました。 12月20日、データベースの国際トップカンファレンス「VLDB2024」で新たな論文が発表され、Alibaba Cloudの新技術PilotScopeがリスト入りを果たしたこのプラットフォームの技術は、データベースへのAIアルゴリズムの「ワンクリック展開」を実現し、コストを大幅に削減することができます。データベースにおける AI アルゴリズムのアプリケーションのしきい値を引き上げ、データベース インテリジェンスの全く新しい道を切り開きます。

Alibaba Cloudは同日、すべてのPilotScopeテクノロジーを無料でオープンソース化すると発表しました

データベースをインテリジェントにするのはなぜ難しいのですか?

データベースは、国家経済と国民生活に不可欠な基本的なソフトウェア技術です。データベース テクノロジの継続的な更新は、デジタル時代のあらゆる分野に重要な影響を及ぼします。最前線領域の 1 つはデータベース インテリジェンス (AI4DB、つまりデータベース インテリジェンス)

現在のデータベース システムは非常に複雑で、非常に高い安定性が求められます。 AI アルゴリズムをデータベースと照合してデバッグするだけでも、双方のエンジニアが数週間、場合によっては数か月にわたって緊密に連携する必要があり、非効率的であり、結果も良くありません。

より一般的な状況は、AI エンジニアがデータベースの詳細を理解しておらず、データベース開発者も AI を理解しておらず、この 2 つの分野がプログラミング言語さえ知らないということです (AI 開発では主に Python が使用されます)。データベースは主に C/Java を使用します)、非常に困難であり、破損を引き起こしやすいです。

一般的に、この業界の企業は通常、インテリジェント クエリ最適化モジュールなどのデータベースの特定の機能モジュールを置き換えるために、いくつかの AI アルゴリズムをデータベースに直接埋め込むことを選択します。ただし、このカスタマイズされたアプローチでは、開発、メンテナンス、アップグレードのコストが非常に高くなります。 AIアルゴリズムがアップグレードされ、置き換えられるたびに、開発プロセスをやり直す必要があります。同時に、データベースのコードベースを変更すると、さらなるリスクも伴います。

このため、人工知能の急速な発展にもかかわらず、関連する結果の実用化はデータベース分野ではまだ普及していません。

人工知能アルゴリズムをより効果的にデータベースに適用できる共通のプラットフォーム テクノロジはありますか?

これは、Alibaba PilotScope プロジェクト チームの考え方の出発点となりました。

PilotScope プロジェクト リーダーの Zhu Rong 氏は次のように述べています。「AI4DB、AI、DB は両方とも人間によって行われますが、この点での橋渡しとなるのは」 「AI アルゴリズムとデータベースの間にパブリック ブリッジを構築して、両者間のコミュニケーションをよりスムーズにしたいと考えています。」

#0 から 1 へのクロステクノロジー イノベーション

Zhu Rong 氏は、PilotScope をデータベース AI の「スーパー管理者」と表現しました。PilotScope プラットフォームを通じて、AI エンジニアは、さまざまなデータベースの展開とアプリケーションを実装するための一般的な AI アルゴリズムの設計に集中するだけで済みます。データベース ユーザーは、Likewise のような API を呼び出すことができます。 AIを便利かつ効率的に活用するというアイデアは、構想から実装まで約2年かかりました。 Zhu Rong 氏は、「アルゴリズムとシステムの交差点、AI とデータベースの交差点、研究開発の交差点、学術界と産業の交差点が含まれます。これはテクノロジーの真の交差点です。」

彼の紹介によると、プロジェクトは何度も磨きをかけた後、最終的に新しいミドルウェア システム プラットフォームを開発しました。データベースと AI システム レベルでモジュールとインターフェイスの定義を抽象化および一般化することで、AI アルゴリズムを実装できます数時間、場合によっては数分でデータベースにアクセスできます。キーの展開」、これが現在の PilotScope です。

書き換えられた内容は次のとおりです。 Alibaba Cloud PilotScope アーキテクチャ図の注釈

PilotScope は便利ですパラメータ調整、インデックス推奨、カーディナリティ推定、およびクエリ用に、最適化などの主流のデータベース タスクに 10 を超える AI アルゴリズムを提供し、PostgreSQL や Spark などの 2 つの主流のオープン ソース データベースにうまく適応しています。 PilotScope を使用して AI アルゴリズムをデータベースに埋め込む実験データは、従来よりも高速です。「ハード インプラント」手法により、クエリの最適化などのタスクを 1 ～ 2 倍高速化できます。さらに、PilotScope 自体によって発生する導入の追加コストは基本的に無視でき、パフォーマンスは優れています

画像の説明: PilotScope のレンダリング

PilotScope は、システム上で「マイクロ侵入」を実行します。データベースを構築し、AI 幻覚のリスクを軽減し、データベースの安定性を確保しながらインテリジェントな改善を達成するためのインテリジェントな検出、ロールバック、分離、その他のメカニズムを導入します。

Zhu Rong 氏は、以前は人工知能エンジニアとデータベース開発者は継続的に協力して改良する必要があり、安定性を確保するには数週間、場合によっては数か月かかる場合もあったと述べました。 「当社の PilotScope を使用すると、オンラインで直接テストするのに数時間、場合によっては数十分しかかかりません。このゼロツーワンの技術革新により、開発効率が大幅に向上します。」

オープンソースは、 AI4DB プロセスの工業化

PilotScope の論文結果が VLDB に含まれています。 VLDB のレビューでは、アプリケーション シナリオに基づいた PilotScope の先駆的なシステム設計がデータベース インテリジェンスの新たな方向性を切り開くものと考えています。

私たちの理解によれば、VLDB は 3 つのトップ国際データベース カンファレンスの 1 つであり、次のレポートのみが含まれています。毎年、学界と産業界で重要な影響を与える新たな成果を実践します。これはデータベース技術の権威ある指標であり、第 50 回 VLDB カンファレンスは 2024 年 8 月に中国の広州で開催される予定です。 PilotScope 関連のテクノロジーは、GitHub および Modelscope コミュニティで自由にオープンソース化されています。チームは、オープンソース コミュニティの力を通じて、より多くの AI アルゴリズムと幅広いデータベースを PilotScope に組み込み、開発者とともに AI4DB のイノベーションをさらに探索したいと考えています。

同時に、PilotScope は Alibaba への展開を開始しました。 Cloud Conduct は、社内でアプリケーションのパイロットを実施し、産業展開に向けた対応するテストを実施します。

Zhu Rong 氏は、AI4DB は実際の運用環境でのみ価値を生み出すことができると述べました。私たちは、PilotScope がこれを真に実現し、あらゆる階層の人々を支援できることを願っています。データベース インテリジェンスの効率と効果を向上させる

オープンソースのアドレスを添付してください:

https://github.com/alibaba/pilotscope

以上がデータベースが AI 高速レーンの先導、Alibaba Cloud が新しいオープンソース テクノロジー PilotScope をリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。