OpenAI、Microsoft、Zhipu AI、その他世界中の 16 社がフロンティア人工知能セキュリティコミットメントに署名

人工知能 (AI) のセキュリティ問題は、かつてないほどの注目を集めて世界中で議論されています。

OpenAIの創設者で主任科学者のイリヤ・サツケヴァー氏と、OpenAIスーパーアライメントチームの共同リーダーであるジャン・ライク氏が相次いでOpenAIを離れる前、ライク氏はXに関する一連の投稿さえ公開し、OpenAIとそのリーダーシップは魅力を優先して安全性を無視していると述べた素晴らしい製品です。これは業界で広く注目を集め、現在の AI セキュリティ問題の深刻さをある程度浮き彫りにしました。

5月21日、サイエンス誌に掲載された記事は、世界の指導者に対し、人工知能（AI）のリスクに対してより強力な行動を取るよう呼びかけた。記事は、チューリング賞受賞者のヨシュア・ベンジオ氏、ジェフリー・ヒントン氏、ヤオ・チージー氏を含む権威ある科学者や学者らが、ここ数カ月間の進歩では十分ではないと考えていると指摘した。 彼らの見解は、人工知能技術は急速に発展しているが、データプライバシー、人工知能兵器の乱用、人工知能の雇用市場への影響など、AIの開発と応用には多くの潜在的なリスクがあるというものだ。したがって、政府は監督と法律を強化し、人工知能の開発を管理および指導するための適切な政策を策定する必要があります。 さらに、この記事も

私たちは、AIの無秩序な発展は、最終的には大規模な生命と生物圏の損失、そして人類の疎外や絶滅につながる可能性が高いと考えています。

彼らの見解では、AI モデルのセキュリティ問題は、人類の将来の生存を脅かすのに十分なレベルにまで高まっています。

同様に、AI モデルのセキュリティ問題は、すべての人に影響を与える可能性のあるトピックとなっており、誰もが懸念する必要があります。

5 月 22 日は、人工知能の歴史において重要な瞬間となる予定です。OpenAI、Google、Microsoft、Zhipu AI およびさまざまな国や地域のその他の企業が、欧州評議会によって正式にフロンティア AI 安全性宣言に署名しました。人工知能法（AI法）を承認し、世界初の包括的なAI規制が施行されようとしている。

改めて、AIの安全性の問題が政策レベルで言及されています。

人工知能ソウルサミット「宣言」

「セキュリティ、イノベーション、インクルージョン」をテーマとした「AIソウルサミット」には、北米、アジア、欧州、中東16か国の人々が参加この地域の企業は、AI 開発に対するセキュリティに関する取り組みに合意し、次の点を含むフロンティア人工知能セキュリティに関する取り組みに共同署名しました。最先端の AI モデルのリスクがどのように測定されるかを責任を持って説明するフレームワーク

最先端の AI セキュリティ モデルのリスク軽減メカニズムを確立するための明確なプロセス。

• チューリング賞受賞者のヨシュア・ベンジオ氏は、フロンティア人工知能安全性公約の署名は「人工知能の安全性を促進するための国際的なガバナンスシステムを確立する上で重要な一歩となる」と信じています。

中国の大手モデル企業として、Zhipu AI もこの新しい最先端の人工知能セキュリティコミットメントに署名しました。署名者の完全なリストは次のとおりです:

これに関して、OpenAI は次のとおりです。グローバル アフェアーズ担当副社長のアンナ・マカンジュ氏は、「フロンティア AI セキュリティ コミットメントは、高度な AI システム セキュリティ プラクティスの広範な導入を促進するための重要なステップです。これらのコミットメントは、開発者が重要な最先端の AI セキュリティ ベスト プラクティスを確立するのに役立ちます。」と述べています。 Zhipu AI の CEO、Zhang Peng 氏は、「高度なテクノロジーには、AI のセキュリティを確保するという重要な責任が伴います。最近、Zhipu AI もトップ AI カンファレンスである ICLR 2024 に招待され、その具体的なアプローチを共有しました。」と述べました。 「The ChatGLM's Road to AGI」と題した基調講演での AI セキュリティ。

彼らは、スーパーアライメント技術が大規模モデルのセキュリティ向上に役立つと信じており、OpenAIと同様のスーパーアライメント計画を立ち上げ、機械が自ら学習して判断できるようにして、安全なコンテンツを学習できるようにしたいと考えています。

彼らは、GLM-4V には、ユーザーのプライバシーとデータセキュリティを保護しながら有害または非倫理的な行為を防ぐためのセキュリティ対策が組み込まれていること、および GLM-4 のその後のアップグレードバージョンが GLM -4.5 であることを明らかにしました。アップグレードされたモデルも、スーパーインテリジェンスとスーパーアライメント技術に基づいている必要があります。

また、最近発表された論文で、Zhipu AI と清華大学のチームが、多数の自己生成された否定的な単語を使用する、フィードバックのない大規模言語モデルの調整方法、つまりセルフコントラストを導入したこともわかりました。

論文の説明によると、教師あり微調整 (SFT) ターゲットのみを使用すると、セルフコントラストは LLM 自体を使用して多数の異なる候補単語を生成し、事前トレーニングされた埋め込みモデルを使用して複数の否定的な単語をフィルター処理できます。テキストの類似性に基づく単語。

紙のリンク: https://arxiv.org/abs/2404.00604

3 つのデータセットでの直接選好最適化 (DPO) 実験は、セルフコントラストが SFT と標準 DPO を持続的に超えられることを示していますトレーニング。さらに、自己生成されたネガティブ サンプルの数が増加するにつれて、セルフ コントラストのパフォーマンスは向上し続けています。

全体として、この研究は、嗜好データが欠落している場合の位置合わせのための新しい方法（RLHF 方法など）を提供します。嗜好データのアノテーションが高価で入手が難しい場合は、ラベルなしの SFT データを使用して文法嗜好​​データを構築し、否定サンプルの数を増やすことで、不十分な肯定サンプルによって引き起こされるパフォーマンスの損失を補うことができます。

欧州連合理事会は人工知能法を正式に承認しました

同日、欧州連合理事会は世界初の包括的な規制である人工知能法（AI法）も正式に承認しましたAIに関する画期的な人工知能規制は来月施行され、現在はEU法の範囲内にのみ適用され、ビジネスや日常生活で使用されるテクノロジーの潜在的な世界的なベンチマークとなる可能性がある。

「この種の世界初の画期的な規制は、世界的な技術的課題に対処すると同時に、私たちの社会と経済に機会を生み出すものです」とベルギーのデジタル化大臣マチュー・ミシェルは声明で述べた。

この包括的な AI 法案は「リスクベース」のアプローチを採用しており、社会に害を及ぼすリスクが高いほど、ルールが厳しくなります。たとえば、システミック リスクを引き起こさない汎用 AI モデルにはいくつかの限定的な要件が適用されますが、システミック リスクを引き起こすものにはより厳しい規制が適用されます。

人工知能法違反に対する罰金は、違反企業の前会計年度の全世界年間売上高の割合またはあらかじめ定められた額のいずれか高い方として設定されます。

現在、小規模なテクノロジー企業であっても、大きな政府機関であっても、AI のセキュリティ問題の予防と解決が課題となっています。オックスフォード大学の工学科学教授フィリップ・トール氏は次のように述べています。 。」

以上がOpenAI、Microsoft、Zhipu AI、その他世界中の 16 社がフロンティア人工知能セキュリティコミットメントに署名の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。