企業内で AI を活用したチャットボットを使用するリスク

2022 年 11 月に ChatGPT が正式にリリースされて以来、何百万ものユーザーが狂ったように殺到しました。 ChatGPT は、その優れた人間のような言語生成機能、プログラミング ソフトウェアの才能、および超高速のテキスト分析機能により、開発者、研究者、および日常のユーザーにとってすぐに選ばれるツールになりました。

他の破壊的テクノロジーと同様、ChatGPT のような生成 AI システムにも潜在的なリスクがあります。特に、テクノロジー業界の主要企業、国家情報機関、その他の政府機関は、ChatGPT などの人工知能システムに機密情報をフィードすることについて警告を発しています。

ChatGPT のセキュリティ リスクに関する懸念は、セキュリティの脆弱性またはチャットボットを「トレーニング」するためのユーザー作成コンテンツの使用によって、情報が ChatGPT を通じてパブリック ドメインに漏洩する可能性から生じています。

これらの懸念に応えて、テクノロジー企業は大規模言語モデル (LLM) と会話型 AI (CAI) に関連するセキュリティ リスクを軽減するための措置を講じています。 ChatGPT を完全に無効にすることを選択した企業もあれば、そのようなモデルに機密データを入力する危険性を従業員に警告している企業もあります。

ChatGPT: 恐ろしいオープン AI?

人工知能主導の ChatGPT は、企業が運用を最適化し、複雑なタスクを合理化するための人気のツールとなっています。しかし、最近の出来事は、プラットフォームを介して機密情報を共有することの潜在的な危険性を浮き彫りにしました。

気がかりなことに、ChatGPT を介した機密データ漏洩事件が 1 か月以内に 3 件報告されました。韓国メディアは、スマートフォンメーカー、サムスンの主力半導体工場の従業員が、プログラミングエラーのトラブルシューティングに使用される機密性の高いソースコードを含む機密情報を人工知能チャットボットに入力したと報じ、物議を醸した。

ソース コードは、ソフトウェアやオペレーティング システムの基本的な構成要素であるため、テクノロジー企業にとって最も厳重に守られている機密の 1 つです。そして今、そのような貴重な企業秘密が誤って OpenAI の手に渡ってしまいました。

この件に詳しい関係者によると、サムスンは現在従業員のChatGPTへのアクセスを制限しているという。

Amazon、ウォルマート、JPモルガンなど、他のフォーチュン 500 複合企業も、従業員が誤ってチャットボットに機密データを入力するという同様の状況を経験しています。

Amazonの従業員が顧客の機密情報を入手するためにChatGPTを使用しているという以前の報告があり、ハイテク大手は直ちにツールの使用を制限し、ツールに機密データを入力しないよう従業員に厳しく警告した。

「不完全な」モデル: インテリジェンスが欠如したナレッジ ベース

AI 主導のデジタル エクスペリエンス プラットフォームである Coveo の機械学習ディレクターである Mathieu Fortier 氏は、GPT-4 や LLaMA などの複数の LLM は、これらのモデルは言語理解には優れているものの、正確さ、不変の法則、物理的現実、その他の非言語的側面を認識する能力に欠けていると警告しています。

LLM はトレーニング データから広範な固有の知識ベースを構築しますが、真実や事実の正確さについての明示的な概念はありません。さらに、セキュリティ侵害やデータ抽出攻撃に対して脆弱であるだけでなく、予想される反応から逸脱したり、「精神病的」特性 (技術名では「幻覚」) を示したりする傾向があります。

Fortier は、企業が直面する高いリスクを強調しました。その結果、顧客の信頼が大きく損なわれ、ブランドの評判に取り返しのつかない損害を与え、重大な法的および財務的問題につながる可能性があります。

他のテクノロジー大手の例に倣い、小売大手のテクノロジー部門であるウォルマート・グローバル・テクノロジーも、データ侵害のリスクを軽減するための措置を講じました。同社は従業員宛ての社内メモの中で、企業データやセキュリティを侵害する可能性のある不審なアクティビティを検出したら直ちにChatGPTをブロックするよう従業員に指示した。

ウォルマートの広報担当者は、同社は GPT-4 の機能に基づいて独自のチャットボットを作成しているが、従業員と顧客のデータを ChatGPT などから保護するためにいくつかの対策を講じていると述べた。

広報担当者は、「ほとんどの新しいテクノロジーは、新たな利点をもたらしますが、同時に新たなリスクももたらします。したがって、当社はこれらの新しいテクノロジーを評価し、当社の顧客、メンバー、従業員のデータを保護するために従業員に使用方法のガイダンスを提供します」と述べました。珍しいことではありません。Open AI などの既存のテクノロジーを活用し、その上にレイヤーを構築して小売業者とより効果的にコミュニケーションすることで、新しい顧客エクスペリエンスを開発し、既存の機能を向上させることができます。」

さらに、その他のVerizon や Accenture などの企業も ChatGPT の使用を制限する措置を講じており、Verizon は従業員にチャットボットを機密性のないタスクに制限するよう指示しており、アクセンチュアはデータ プライバシー規制の遵守を確保するためにより厳格な管理を導入しています。

ChatGPT によるセッション データの使用方法

さらに懸念されるのは、ChatGPT がモデルをさらにトレーニングするためにユーザー入力データを保持していることです。これにより、データ侵害やその他のセキュリティ インシデントによって機密情報が漏洩する可能性があるという懸念が生じます。問題。

人気の生成人工知能モデル ChatGPT と DALL-E を開発する OpenAI は、最近、ユーザー データのプライバシーとセキュリティを向上させるための新しいポリシーを実装しました。

今年 3 月 1 日より、API ユーザーは OpenAI のモデルをトレーニングまたは改善するためにデータを共有することを明示的に選択する必要があります。

対照的に、ChatGPT や DALL-E などの非 API サービスの場合、OpenAI によるデータの使用を希望しない場合は、ユーザーはオプトアウトする必要があります。

OpenAI は最近更新されたブログで、「お客様が当社の非 API コンシューマ サービス ChatGPT または DALL-E を使用する場合、当社はモデルを改善するためにお客様が提供したデータを使用する場合があります。当社とお客様のデータを共有することは、単に役立つだけではありません」と述べています。当社のモデルはより正確になり、特定の問題をより適切に解決できるようになり、全体的な機能とセキュリティの向上にも役立ちます...組織 ID とアカウント所有者に関連付けられた電子メール アドレスを入力して、非 API サービスを改善するためのデータ。」情報は慎重に公開されます。イタリア政府も最近この争いに加わり、データのプライバシーとセキュリティへの懸念を理由に全国的にChatGPTの使用を禁止した。

OpenAI は、人工知能モデルの改善に使用されるデータから個人を特定できる情報を一切削除し、この目的で各顧客からのデータの少数のサンプルのみを使用すると述べています。

政府警告

英国政府通信本部 (GCHQ) 諜報機関は、国家サイバー セキュリティ センター (NCSC) を通じて、大規模な言語モデルの制限とリスクについて警告を発しました。 (LLM) ChatGPT 警告など。これらのモデルはその優れた自然言語処理能力で賞賛されていますが、NCSC はそれらが確実なものではなく、重大な欠陥が含まれている可能性があると警告しています。

NCSC によると、Google Bard チャットボットの最初のデモンストレーションで実証されたように、LLM は誤ったまたは「幻想的な」事実を生成する可能性があります。また、特に誘導的な質問に答えるときに、偏見やだまされやすさを示すこともあります。さらに、これらのモデルは、ゼロからトレーニングするために広範なコンピューティング リソースと大量のデータを必要とし、インジェクション攻撃や有害なコンテンツの作成に対して脆弱です。

Coveo の Fortier 氏は、「LLM は、プロンプトの内部知識との固有の類似性に基づいて、プロンプトに対する応答を生成します。しかし、固有の内部の「厳密なルール」や推論能力を持たないことを考えると、100% である可能性は低いです。機密情報を開示しないという制約を遵守することに成功しました。機密情報の生成を減らす努力にもかかわらず、LLM はこのデータをトレーニングに使用する場合、この情報を再生成できます。唯一の解決策は、これらのモデルのトレーニングに機密マテリアルを使用しないことです。ユーザーまた、現在、ほとんどのサービスが機密情報をログに保存しているため、プロンプトで機密情報を提供することも避けるべきです。」

生成 AI の安全性と倫理を使用するためのベスト プラクティス

企業が人工知能の導入を続ける中、インテリジェンスやその他の新興テクノロジーを活用し、機密データを保護し、機密情報の偶発的な開示を防ぐための適切なセキュリティ対策を確保することが重要になります。

これらの企業がとった措置は、ChatGPT などの人工知能言語モデルを使用する際に常に警戒を続けることの重要性を浮き彫りにしています。これらのツールは効率と生産性を大幅に向上させることができますが、誤って使用すると重大なリスクを引き起こす可能性があります。

会話型人工知能の新興企業である Got it AI の会長であるピーター・リラン氏は、「最善のアプローチは、言語モデルの独自の改善による新しい開発をすべて、企業戦略主導のアーキテクチャに組み込むことです。このアーキテクチャは、保護用のプリプロセッサとポストプロセッサを備えた言語モデルを使用し、エンタープライズ固有のデータに合わせて微調整し、ローカルに展開することもできます。そうしないと、元の言語モデルが強力すぎるため、エンタープライズでの処理が有害になる場合があります。」

Nvidia が支援する会話型 AI プラットフォーム Kore.ai の最高技術責任者である Prasanna Arikala 氏は、将来的に企業は違反を避けるために機密情報や個人情報への LLM アクセスを制限する必要があると述べました。

アリカラ氏は、「多要素認証や機密データの暗号化などの厳格なアクセス制御の実装は、これらのリスクを軽減するのに役立ちます。さらに、潜在的な脆弱性を特定して排除するには、定期的なセキュリティ監査と脆弱性評価が必要です」と述べました。 LLM は正しく使用すれば価値のあるツールですが、企業にとっては機密データを保護し、顧客や関係者の信頼を維持するために必要な予防措置を講じることが重要です。」

これらの規制がどのように適用されるかはまだわかりません。進化していますが、企業は常に時代の先を行くために警戒し続ける必要があります。生成型 AI は潜在的な利点をもたらしますが、同時に新たな責任と課題ももたらします。テクノロジー業界は政策立案者と協力して、このテクノロジーが責任ある倫理的な方法で開発および実装されるようにする必要があります。

以上が企業内で AI を活用したチャットボットを使用するリスクの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。