より優れ、より安全で、OpenAI への依存度が低い Microsoft の新しい AI トレンドにより、大規模モデルのセキュリティ ツール Azure AI がリリース

コンピレーション丨Yifeng

プロデュース | 51CTOテクノロジースタック (WeChat ID: blog51cto)

生成的需要人工知能 (生成 AI) に対する関心が高まっており、LLM の安全性と信頼性に対する懸念がこれまで以上に顕著になっています。企業は、内部および外部で使用するために開発された大規模言語モデル (LLM) が、未知の領域に迷い込むことなく高品質の出力を提供できるようにしたいと考えています。 このニーズを満たすには、考慮すべき重要な側面がいくつかあります。まず、LLM モデルの解釈可能性を強化して、生成された結果のソースと論理的推論プロセスを透過的に表示できるようにする必要があります。これは、ユーザーが出力の品質を理解し、その信頼性を評価するのに役立ちます。 第 2 に、LLM 出力の精度と正しさを検証および検出するために、より多くのツールと技術を提供する必要があります。これらのツールは、

Microsoft を使用するときにユーザーがこれらの懸念を認識するのに役立ちます。長い間、OpenAI を使用する Microsoft のモデルは API を呼び出すことしかできず、ブラック ボックス内のシークレットを制御することができませんでした。 Microsoft は最近、大規模モデルの幻覚問題の解決に役立つ新しい Azure AI ツールのリリースを発表しました。また、Microsoft Own と同様に、モデルが攻撃されてプライバシー侵害やその他の有害なコンテンツを生成するプロンプト入力攻撃などのセキュリティ脆弱性も解決できます。 AI画像作成者はテイラー・スウィフトのディープフェイク画像も生成します。

このセキュリティ ツールは今後数か月以内に広く展開される予定であると報告されていますが、具体的なスケジュールはまだ明らかにされていません。

1.Azure AI は大規模モデルのセキュリティのために何をしますか?

LLM の人気に伴い、プロンプト インジェクション攻撃の問題が特に顕著になってきました。基本的に、攻撃者は、セキュリティ制御を含むモデルの通常の操作をバイパスする方法でモデルの入力プロンプトを変更し、個人用または有害なコンテンツを表示するようにモデルを操作して、セキュリティやプライバシーを侵害することができます。これらの攻撃は、攻撃者が LLM と直接対話する直接攻撃と、悪意のある Web ページなどのサードパーティ データ ソースの使用を伴う間接攻撃の 2 つの方法で実行される可能性があります。

これら 2 つの形式のプロンプト インジェクションに対処するために、Microsoft は Azure AI に Prompt Shields を追加しています。これは、高度な機械学習 (ML) アルゴリズムと自然言語処理を使用して、プロンプトとサードパーティ データの悪意のある意図を自動的に分析し、それらがモデルに到達するのを防ぐ包括的な機能です。

これは、Microsoft の 3 つの関連製品に統合されます。 Azure OpenAI サービス (編集者注: Azure OpenAI は、Microsoft によって開始されたクラウドベースのサービス製品であり、OpenAI Access へのアクセスを提供します) Azure OpenAI の主な利点は、OpenAI の高度なテクノロジと、Microsoft Azure のセキュリティおよびエンタープライズ レベルのコミットメント、Azure AI コンテンツ セキュリティ、および Azure AI Studio を組み合わせていることです。

Microsoft は、セキュリティと安全性を脅かすヒント インジェクション攻撃を阻止する取り組みに加えて、生成 AI アプリケーションの信頼性に焦点を当てたツールも導入しています。これには、事前に構築された Security Center システム メッセージ テンプレートと、Groundness Detection と呼ばれる新機能が含まれます。

Microsoft が説明しているように、Security Center システム メッセージ テンプレートを使用すると、開発者は安全で信頼性の高いデータベースの出力に向けてモデルの動作をガイドするシステム メッセージを作成できます。基本的な検出では、微調整されたカスタム言語モデルを使用して、モデルによって生成されたテキスト出力内のアーティファクトまたは不正確な内容を検出します。どちらも Azure AI Studio および Azure OpenAI 製品で利用可能になります。

注目すべきことに、基本的なメトリクスの検出には、生成 AI アプリケーションのリスクとセキュリティをストレス テストするための自動評価も伴います。これらのメトリックは、アプリケーションがジェイルブレイクされ、不適切なコンテンツが生成される可能性を測定します。評価には、問題を解決するための適切な緩和策を構築する方法について開発者をガイドする自然言語の説明も含まれます。

「今日、多くの組織は、自信を持ってプロトタイプから市場導入に移行できるように、生成 AI アプリケーションのストレス テストを行うためのリソースが不足しています。まず、高品質のテスト データセットを構築します。 「ジェイルブレイク攻撃などの困難な場合があります。たとえ高品質のデータであっても、評価は複雑で手動のプロセスになる可能性があり、開発チームは結果を解釈して効果的な緩和策を提供することが難しいと感じるかもしれません」と Microsoft 最高製品責任者、サラ バード氏は述べています。ブログ投稿で指摘されたセキュリティ AI。

2.Azure AI は大規模なモデルをリアルタイムで「監視」します

Azure AI の実際の使用中、Microsoft は開発者が最終的に支払うのを支援するリアルタイム監視を提供します。トリガーセキュリティに注意 プロンプトシールドなどの機能の入出力。この機能は Azure OpenAI サービスと AI Studio 製品に統合されており、ブロックされたユーザー入力/モデル出力の数と割合を、重大度/カテゴリごとの内訳とともに強調表示する詳細な視覚化を生成します。

この視覚的なリアルタイム監視を使用すると、開発者は時間の経過に伴う有害なリクエストの傾向を理解し、コンテンツ フィルターの構成、制御、および広範なアプリケーション設計を調整してセキュリティを強化できます。

Microsoft は、長い間、AI 製品の強化に取り組んできました。以前、Microsoft CEO Satya Nadella はインタビューで、Microsoft が OpenAI に完全に依存しているわけではなく、独自の AI プロジェクトを開発し、OpenAI の製品構築を支援していることを強調しました。

は「All in OpenAI」のパターンを変え、Microsoft も Mistral in Large を使用しています。中のモデル。最近ではMicrosoftが新設したチームMicrosoft AIの動きが頻繁で、Inflection AIからムスタファ・スレイマン氏とそのチームを採用したこともある。これは、Sam Altman と OpenAI への依存を減らす方法のようです。

これらの新しいセキュリティと信頼性のツールの追加は、同社がすでに行ってきた作業に基づいて構築され、開発者がその上に生成 AI アプリケーションを構築するためのより適切で安全な方法を提供します。提供されたモデル。

参考リンク: https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm -安全性と信頼性のリスク/

以上がより優れ、より安全で、OpenAI への依存度が低い Microsoft の新しい AI トレンドにより、大規模モデルのセキュリティ ツール Azure AI がリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。