生成大規模モデルの「諸刃の剣」にどう対処するか?浙江省研究所が「大規模生成モデルのセキュリティとプライバシーに関する白書」を発表

現在、生成大規模モデルは学術研究、さらには社会生活に大きな変化をもたらしており、ChatGPTに代表される生成大規模モデルの機能は、汎用人工知能への移行の可能性を示しています。しかし同時に、研究者たちは、ChatGPT のような大規模な生成モデルがデータとモデルのセキュリティ リスクに直面していることにも気づき始めています。

今年の 5 月初旬、ホワイトハウスは、Google、Microsoft、OpenAI、Anthropic などの AI 企業の CEO との集合会議を開催し、AI 生成テクノロジーの爆発的な発展と、テクノロジーの背後に隠されたリスク 責任を持って人工知能システムを開発し、効果的な規制措置を開発する方法。国産の生成大型モデル技術も開発中ですが、同時に、生成という両刃の剣がもたらす隠れた危険を回避するために、セキュリティ問題の対応分析も行う必要があります。大型モデル。

この目的を達成するために、志江研究所基礎理論研究所の人工知能とセキュリティ チームは、ChatGPT で表される生成大規模モデルのセキュリティとプライバシーの問題を初めて包括的にまとめました。ホワイトペーパーは、セキュリティ問題の研究に携わる技術者に方向性を示し、AI 関連の政策立案者に基礎を提供することを目的としています。

ホワイト ペーパーのリンク: https://github.com/xiaogang00/white-paper-for- large -model-security-and-privacy

生成大規模モデルの開発と重要なアプリケーション

このホワイト ペーパーでは、最初に ChatGPT や ChatGPT などの生成モデルについて概要を説明します。 GPT4 大型モデルの開発の歴史と、それがもたらすさまざまな驚くべき機能、社会の変化、社会応用など。著者は、ChatGPT および GPT4 が登場する前の GPT-1、GPT-2、GPT-3、Google Bert およびその他のモデルの特徴と欠点を列挙しています。これらの欠点は、ChatGPT および GPT4 の強力な機能とは対照的です。 LLaMa、Alpaca、Wen Xin Yi Yan、Tong Yi Qian Wen などを含む多数のモデルが登場しました。それらの出現は、人間とコンピューターの相互作用、リソース管理、科学研究、コンテンツ作成のツール。しかし同時に、データセキュリティ、使用仕様、信頼できる倫理、知的財産権、モデルのセキュリティなどの問題も浮上しています。

データ セキュリティの問題

このホワイト ペーパーでは、ChatGPT や GPT4 などの大規模な生成モデルの使用と開発プロセスにおいて、データ セキュリティとプライバシーが非常に重要な問題であると提案しています。 , そして「明示的」と「暗黙的」の2つの側面から分析されます。

露骨な情報漏洩では、まず、ChatGPT などの大規模な生成モデルの学習データが、機密性の高い個人や個人を含む生成コンテンツに誤って変換されます。 、事件情報など。さらに、ChatGPT のデータ セキュリティとプライバシーのリスクは、ダイアログ ボックスのコンテンツの保存にも反映されており、ユーザーが ChatGPT を操作すると、その情報は何らかの形式で記録され、保存されます。

ホワイトペーパーでは、これまで誰もが無視してきた暗黙の情報漏洩の問題も取り上げています。まず第一に、ChatGPT によってもたらされるデータ セキュリティとプライバシーのリスクは、推奨広告やその他の下流の機械学習タスクのためにダイアログ データを収集する可能性があること、また、ChatGPT がユーザーを誘導するために誤った情報を生成する可能性があることです。一連のデータが漏洩する。

使用仕様の問題

ホワイトペーパーの中で、著者は、ChatGPT や GPT4 などの大規模な生成モデルの強力な理解と生成機能が大きなメリットをもたらしていると述べました。それは多くの利便性をもたらしますが、同時に悪意のある使用の機会も増えています。規制上の制約がなければ、悪意のある使用は多くの社会問題を引き起こすでしょう。

まず、ChatGPT や GPT-4 などのモデルの強力な機能により、不純な動機を持つ一部の人々がそれらを違法行為のツールとして使用したいと考えます。たとえば、ユーザーは、コーディングの知識や犯罪経験がなくても、ChatGPT を使用して詐欺的なテキスト メッセージやフィッシング メールを作成したり、オンデマンドでマルウェアやランサムウェアを生成するコードを開発したりできます。

第二に、ChatGPT や GPT4 などの大規模な生成モデルは、さまざまな地域の法的規制を考慮していないため、使用および出力中に現地の法規制に違反する可能性があります。その使用が現地の法律や規制に抵触するかどうかを検出するための強力な現地規制システム。

第三に、安全と危険の間のグレーゾーンについては、ChatGPT などの大規模な生成モデルのセキュリティ機能が強化されていません。たとえば、ChatGPT は、うつ病患者とコミュニケーションをとる場合など、自殺願望を抱かせるような特定の文を出力する可能性があります。

信頼できる倫理的問題

ChatGPT のような大規模な生成モデルは、質問と回答の形式で社会レベルで存在しますが、その応答は信頼できないことが多く、正しさを判断することはできません 質問に対して間違った回答が存在する可能性があり、既存の社会倫理に影響を与える可能性さえあります。

ホワイトペーパーでは、まず第一に、ChatGPT などの大規模な生成モデルからの応答は重大なナンセンスである可能性があると指摘しています。現在のモデルでは合理的な証拠を提供できません。信頼性を確認してください。たとえば、ChatGPT は、歴史的、科学的、文化的、その他の質問に対して不正確に答えたり、事実と矛盾したりする可能性があり、さらには誤解を招く可能性や誤解を引き起こす可能性があり、ユーザーには独自の識別能力が必要です。

ChatGPT などの大規模生成モデルの倫理的問題についても、ホワイト ペーパーで詳しく説明されています。 OpenAIなどの研究開発機関は、ChatGPT自体を倫理規範の生成に使用していますが、その倫理規範が我が国の国情の基本的な価値観や原則と一致しているかどうかはまだ決定されていません。著者は、有害なイデオロギーの蔓延、偏見と憎悪の蔓延、ポリティカル・コレクトネスへの影響、教育の公平性の侵害、国際社会の公平性への影響、機械が人間に取って代わる過程の悪化、正しい情報の形成を妨げる情報の繭の形成などの問題があると指摘しています。価値観。

知的財産問題

ChatGPT のような生成大規模モデルは、強力な言語処理能力と低い使用コストにより、社会のあらゆる側面に利便性をもたらします。また、侵害の問題が発生する可能性もあり、既存の著作権法制度に影響を及ぼします。たとえば、ChatGPT によって生成された著作物には著作権紛争が生じる可能性がありますが、ChatGPT は優れた言語処理能力を備えていますが、生成された著作物が知的財産権の形式的要件をすべて満たしていても、ChatGPT が著作権の対象となることはありません。著作権主体は権利を享受しており、それに応じた社会的責任も負わなければならず、ChatGPT はユーザーのための強力な補助生産性ツールとしてのみ使用でき、権利を享受し義務を履行するための主な要件はおろか、独自に作成することもできません。

さらに、ChatGPT のような大規模な生成モデルは、依然として独立して作成することができず、ましてや独立して考える能力を持つことはできません。作品の「オリジナリティ」を満たしていない」という要望。 ChatGPT がモデルのトレーニングに使用するデータはインターネットからのものであり、モデルのトレーニング アルゴリズムがどれほど高度であっても、既存の知的成果の参照、分析、処理が含まれている必要があり、他者の正当な知的財産の侵害の問題が必ず存在します。財産権。

モデルのセキュリティの問題

技術的な観点から見ると、ChatGPT などの大規模な生成モデルにもモデルのセキュリティの問題があります。 ChatGPT は本質的に深層学習に基づく大規模な生成モデルですが、さまざまな攻撃 (敵対的攻撃、バックドア攻撃、プロンプト攻撃、データ ポイズニングなど) によって引き起こされるモデルの盗難や出力エラーなど、人工知能のセキュリティに対する多くの脅威にも直面しています。 。 待って）。

たとえば、モデルの盗難とは、攻撃者が限られた数のモデル クエリに依存して、ターゲット モデルと同じ機能と効果を持つローカル モデルを取得することを指します。 ChatGPT は API の使用を開放し、モデルの盗難に対する問い合わせの入り口を提供します。別の例として、ChatGPT と GPT4 は分散コンピューティング システムとして、すべての関係者からの入力データを処理する必要があり、権威ある組織による検証の後、これらのデータはトレーニングに継続的に使用されます。その後、ChatGPT と GPT4 もデータポイズニングの大きなリスクに直面します。攻撃者は、ChatGPT および GPT4 と対話するときに、ChatGPT および GPT4 に間違ったデータを強制したり、ユーザー フィードバックの形で ChatGPT および GPT4 に間違ったフィードバックを与えたりして、ChatGPT および GPT4 の機能を低下させたり、特別なバックドア攻撃を加えたりする可能性があります。

セキュリティとプライバシーに関する提案

最後に、ホワイト ペーパーでは、セキュリティとプライバシーの問題に関する対応する提案を提供しており、将来のテクノロジー研究者の方向性とポリシーとして役立ちます。フレーマーの参照ベース。

プライバシー保護に関する推奨事項に関して、ホワイトペーパーでは、元データ内の機密性の高い個人情報の特定と配布の制限を強化すること、データ収集プロセス中のプライバシー保護に差分プライバシーやその他のテクノロジーを使用すること、およびプライバシー保護の改善を提案しています。トレーニング データのストレージ 暗号化によるセキュリティ保護、安全なマルチパーティ コンピューティング、準同型暗号化、フェデレーテッド ラーニングなどのテクノロジーを使用して、モデル トレーニング プロセス中にデータ プライバシーとセキュリティを保護します。データ プライバシー評価とモデル保護を確立します。およびセキュリティ認証システムを利用し、ダウンストリーム アプリケーションのプライバシーを保護します。

モデルのセキュリティ問題に関する提案に関して、ホワイトペーパーでは、セキュリティおよびプライバシー情報の検出モデルのトレーニング、さまざまなモデルをさまざまな国の法的規定に適用できるようにすること、さまざまなターゲットをターゲットにすることを提案しています。対決 防御的に攻撃する。

モデルのコンプライアンスの問題に関して、ホワイトペーパーでは、信頼できる出力を測定し、信頼値を評価し、モデルによって出力される著作権情報のクエリ機能を追加することを提案しています。

要約すると、AI 生成大規模モデルの開発はセキュリティと切り離せないため、そのセキュリティ問題は次の技術的なポイントとなり、多くの研究者が克服する価値があると言えます。安全保障は社会の安定を保証するものでもあり、関係部門は早急に政策を策定する必要がある。

以上が生成大規模モデルの「諸刃の剣」にどう対処するか?浙江省研究所が「大規模生成モデルのセキュリティとプライバシーに関する白書」を発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。