ユーザーのブラウザで AI をローカルに実行する

AI がいかに優れているかは誰もが知っていますが、データ プライバシーとコストという 2 つの大きな問題がまだあります。

現在、AI を使用するすべてのアプリケーションはクラウド API に接続されています。これらの API はプロンプトとコンテキストをログに記録し、場合によってはそのデータを使用してモデルをトレーニングします。つまり、機密データを含めると漏洩する可能性があります。

ほとんどの Web アプリケーションは、次のスキーマを使用して AI 機能を統合します。

ここでの問題は、アプリケーション サーバーがユーザー データを AI API に送信する必要があることです。AI API はサードパーティ API であり、ユーザー データで何が起こるかを実際には知ることができません。

しかし、クラウドではなくユーザーデバイスで AI を処理してはどうでしょうか?数週間テストしてみたところ、素晴らしい結果が得られました。私は 3 つの主な利点を発見しました:

1. ユーザーデータが第三者に送信されることはありません。ユーザーのデバイス上に常に残ります。
2. アプリ開発者は無料で、ユーザー推論はユーザーのデバイス上で直接行われるため、料金を支払う必要はありません。
3. すべての新規ユーザーが独自の計算能力を持ち込むため、スケーラビリティは無制限です。

AI 計算をユーザーにオフロードすると、前のスキーマがどのように変化するかを簡単に見てみましょう:

それは非常に単純な概念です。ユーザーはいつものように we アプリケーションを使用しますが、AI 計算を実行する必要があるタスクがある場合、サードパーティ API を使用する代わりに、それをユーザーに送信し、そのデバイスが最も安全な方法でその計算を実行します。ローカルで。

これは単なる夢ではありません。すでに完全に機能しています。コードを数行変更するだけで、誰もがこのアーキテクチャを簡単に使用できるように、オフロード というプラットフォームを作成しました。 。 SDK は、ユーザー デバイスに適合するモデルのダウンロードから、プロンプトの管理とプロンプト応答のローカルでの評価に至るまで、すべてを舞台裏で処理し、ユーザー データを公開することなく評価結果をユーザーに送り返します。単一の関数呼び出しですべてが透過的に機能します。

私は、たとえ趣味のプロジェクトであっても、この恩恵を受けられる Web 開発者を探しています。このアプローチが気に入ったら、私に連絡してください!アプリケーションでのセットアップをお手伝いいたします。実際には数分以内に移行が非常に簡単であることがおわかりいただけるでしょう。

アプリケーションにオフロードを統合する

以上がユーザーのブラウザで AI をローカルに実行するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。