MLCommons は人工知能セキュリティ ワーキング グループを設立し、重要なステップを発表しました

人工知能ベンチマーク団体MLCommonsは、人工知能安全性(AIS:AI Safety)ワーキンググループの設立を発表しました。 AIS は、さまざまなユースケースの AI セキュリティ ベンチマークをサポートするために、多くの貢献者からプラットフォームとテスト ライブラリを開発します。

人工知能システムは社会に多大な利益をもたらす可能性を秘めていますが、有害性、誤った情報、偏見などのリスクがないわけではありません。他の複雑なテクノロジーと同様に、リスクを最小限に抑えながらメリットを実現するには、社会でも業界標準のセキュリティ テストが必要です。

新しいプラットフォームでは、ユーザーがテスト ライブラリからベンチマークを選択し、それらのベンチマークの結果を有用でわかりやすいスコアに集約できるようになります。これは、自動車安全性試験評価やエネルギースター評価など、他の業界の標準と同様です。

この取り組みにおける当面の優先事項は、より厳密で信頼性の高い AI 安全性の迅速な開発をサポートすることです。検査技術が発展します。 AIS ワーキング グループは、メンバーと大規模な AI コミュニティの技術的および運用上の専門知識を活用して、AI の安全性ベースライン テクノロジーの指導と作成を支援します。

アイントホーフェン工科大学の機械学習 (ML) 准教授、ホアキン ヴァンショーレン氏は次のように述べています。「広範な AI コミュニティによって開発されているセキュリティ ベンチマークのオープンで動的な性質により、 「これは、セキュリティベンチマークの開発と開発のための優れた基盤です。共通の目標を達成することで、真のインセンティブが生まれます。」 「未解決のセキュリティ問題を見つけた人は、新しいテストを思いつくことができます。私たちは、世界で最も賢い人々の何人かを結集させて、実際にこれらの問題を解決するには、ベンチマークを使用します。その結果、どの人工知能モデルがセキュリティ問題を最もよく解決するかを明確に理解できるようになります。」

書き直された内容: 焦点は開発にあります。大規模言語モデル (LLM) のセキュリティ ベンチマークであり、スタンフォード大学の基本モデル研究センター (CRFM) と言語モデルの全体的評価 (HELM) の研究者の先駆的な研究に基づいています。 HELM フレームワークに多くのセキュリティ関連テストを構築して組み込むことに加えて、ワーキング グループは、一部の企業が専有目的で使用される社内 AI セキュリティ テストを公開し、MLCommons コミュニティと共有してイノベーションのペースを加速することも期待しています。

Basic Model Research Center 所長の Percy Liang 氏は次のように述べています。「私たちはモジュール式評価フレームワークである HELM を約 2 年間開発してきました。MLCommons と協力できることに非常に興奮しています」人工知能のセキュリティに HELM を使用すること。評価、これは私が 7 年間考えてきたテーマです。強力な基本モデルの台頭により、このテーマは非常に緊急なものになりました。"

AIS ワーキング グループは、テストが成熟すると、標準の AI セキュリティ ベンチマークが AI セキュリティ アプローチの重要な部分になると考えています。これは、2023 年 7 月に複数のテクノロジー企業が米国ホワイトハウスに対して行った「安全性、セキュリティ、信頼に関する自主的な取り組み」、NIST の人工知能リスク管理フレームワークなど、責任ある AI テクノロジー開発およびリスクベースの政策フレームワークと一致しています。 および EU の今後の人工知能法 。

MLCommons は、人工知能システムをより効率的に構築およびテストするための共有データ、ツール、ベンチマークを共同開発できるよう、産学界の幅広い関係者をサポートすることに取り組んでいます。 MLCommons のエグゼクティブディレクター、デイビッド・カンター氏は次のように述べています。「私たちはメンバーと協力できることに非常に興奮しています。来年、私たちはこれらのベンチマークを広く普及させることを目的として、オープンソースモデルから始めて、人工知能の安全性ベンチマークの構築と推進に焦点を当てていきます」

AIS ワーキング グループの初めての参加者には、Anthropic、Coactive AI、Google、Inflection を含む多分野の人工知能専門家グループが含まれます。 、インテル、メタ、マイクロソフト、NVIDIA、OpenAI、クアルコムのほか、学者のアイントホーフェン工科大学のホアキン・ヴァンストレン氏、スタンフォード大学のパーシー・リアン氏、シカゴ大学のボー・リー氏も参加しています。学術界や産業界の研究者やエンジニアだけでなく、市民社会や公共部門の専門家もワーキンググループに参加できます。 AIS ワーキング グループに参加する方法については、クリックして元の記事をお読みください。

MLCommons について

MLCommons は、人工知能のベンチマークの構築に特化した世界有数の組織です。これは、ベンチマークとデータの使用を通じて誰もがより良い機械学習を行えるよう支援することを目的としたオープン エンジニアリング コンソーシアムです。 MLCommons の起源は、2018 年の MLPerf ベンチマークに遡ります。このベンチマークは、機械学習のパフォーマンスを測定し、機械学習テクノロジーの透明性を高めるために使用される一連の業界指標に急速に進化しました。 MLCommons は、ベンチマークとメトリクス、公開データセット、ベスト プラクティスを通じて機械学習業界全体でツールを共同構築することに重点を置いた 125 名を超えるメンバー、世界的なテクノロジー プロバイダー、学者、研究者と連携しています。

以上がMLCommons は人工知能セキュリティ ワーキング グループを設立し、重要なステップを発表しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。