脅威検出テクノロジーの適用: ネットワーク セキュリティの鍵、リスクも考慮

インシデント対応の分類とソフトウェアの脆弱性の発見は、大規模な言語モデルが成功する 2 つの分野ですが、誤検知はよくあります。

ChatGPT は、ニューラル ネットワーク ベースの言語モデル text-davinci-003 を利用し、インターネットからの大規模なテキスト データセットでトレーニングされた画期的なチャットボットです。さまざまなスタイルや形式で人間のようなテキストを生成できます。 ChatGPT は、質問への回答、テキストの要約、さらにはインシデント レポートの生成や逆コンパイルされたコードの解釈などのサイバーセキュリティ関連の問題の解決など、特定のタスクに合わせて微調整できます。セキュリティ研究者や AI ハッカーは LLM の弱点を調査するために ChatGPT に興味を持ち、その一方で他の研究者やサイバー犯罪者は LLM をダークサイドに誘い込み、より優れたフィッシングメールを生成するための力を生み出すツールとして設定しようと試みてきました。またはマルウェアを生成します。悪意のある者が ChatGPT を悪用して、フィッシングメールやポリモーフィックマルウェアなどの悪意のあるオブジェクトを生成しようとしたケースがいくつかあります。

セキュリティ アナリストによる多数の実験により、人気の大規模言語モデル (LLM) ChatGPT は、人工知能 (AI) モデルが適切でない場合でも、サイバーセキュリティ防御者が潜在的なセキュリティ インシデントを分類し、コード内のセキュリティ脆弱性を発見するのに役立つ可能性があることが示されています。この種の活動のために特別に訓練されていない。

セキュリティ アナリストは、インシデント対応ツールとしての ChatGPT ユーティリティの分析で、ChatGPT が侵害されたシステム上で実行されている悪意のあるプロセスを特定できることを発見しました。 Meterpreter および PowerShell Empire エージェントを使用してシステムに感染し、攻撃者の役割で一般的な手順を実行し、システムに対して ChatGPT を利用したマルウェア スキャナを実行します。 LLM は、システム上で実行されている 2 つの悪意のあるプロセスを特定し、137 の良性プロセスを正しく無視し、ChatGPT を活用してオーバーヘッドを大幅に削減しました。

セキュリティ研究者は、特定の防衛関連タスクにおいて汎用言語モデルがどのように機能するかについても研究しています。 12 月、デジタル フォレンジック会社 Cado Security は、ChatGPT を使用して実際のセキュリティ インシデントの JSON データを分析し、ハッキングのタイムラインを作成しました。その結果、完全に正確ではないものの良好なレポートが作成されました。セキュリティ コンサルティング会社 NCC グループは、コード内の脆弱性を見つける方法として ChatGPT を使用しようとしましたが、ChatGPT は実行しましたが、脆弱性の特定は必ずしも正確ではありませんでした。

実用的な観点から見ると、セキュリティ アナリスト、開発者、リバース エンジニアは、特に自分の能力を超えたタスクに対して LLM を使用する際に注意する必要があります。セキュリティコンサルティング会社NCCグループの首席科学者クリス・アンリー氏は、「プロの開発者やコードを扱う人たちは、ChatGPTや同様のモデルを検討すべきだと間違いなく思うが、絶対に正しい事実の結果よりもインスピレーションを得ることが目的だ」と述べ、さらに次のように付け加えた。セキュリティ コード レビューは、ChatGPT を使用すべきものではないため、最初から完璧であることを期待するのは不公平です。」

AI を使用した IoC 分析

セキュリティと脅威の研究では、その調査結果 (敵の指標、戦術、技術、手順) をレポート、プレゼンテーション、ブログ投稿、ツイート、その他の種類のコンテンツの形式で一般に公開することがよくあります。

したがって、私たちは当初、脅威調査のために ChatGPT を調査し、それが Mimikatz や高速リバース プロキシなどのシンプルでよく知られた敵対ツールの特定に役立つかどうかを調べ、共通の攻撃を発見することに決めました。名前を変更する戦略。出力は期待できそうです。

では、よく知られた悪意のあるハッシュやドメイン名などの古典的な侵入インジケーターに対して、ChatGPT は正しく応答できるのでしょうか?残念ながら、私たちの簡単な実験では、ChatGPT は満足のいく結果を生み出すことができませんでした。Wannacry のよく知られたハッシュ (ハッシュ: 5bef35496fcbdbe841c82f4d1ab8b7c2) を識別できませんでした。複数の APT アクティビティにより、ChatGPT は基本的に同じドメイン名リストを生成し、APT 攻撃者の説明を提供しました。一部のドメイン名については何も知らないかもしれません。

FIN7 で使用されるドメインに関しては、chatGPT は正しく悪意のあるドメインとして分類しますが、その理由は、「このドメインは、ユーザーを正規のドメインであると信じ込ませようとする試みである可能性が高い」というものです。これらは侵害のよく知られた指標です。

有名な Web サイトのドメイン名を模倣する最後の実験では興味深い結果が得られましたが、さらなる研究が必要です。ドメイン名やハッシュなどを比較するよりも、ホストベースのセキュリティ インシデントに対して ChatGPT がより良い結果を生み出す理由を言うのは困難です。 . シンプルなインジケーターの方が良い結果が得られます。トレーニング データ セットに特定のフィルターが適用されているか、問題自体が異なる枠組みに設定されている可能性があります (明確に定義された問題は、問題の半分が解決されたことになります!)

いずれにせよ、ホストに関する懸念により、応答はより有望に見えたので、テスト Windows システムからさまざまなメタデータを抽出し、そのメタデータが侵害の兆候であるかどうかを尋ねるコードを書くように ChatGPT に指示しました。

# 一部のコード スニペットは他のコード スニペットよりも使いやすいため、この PoC を手動で開発し続けることにしました。侵入インジケータの存在について「はい」を含むステートメントに対する ChatGPT の回答のイベント出力をフィルタリングし、例外ハンドラーとCSV レポート、軽微なバグの修正、コード スニペットの別のコマンドレットへの変換により、WinRM 経由でリモート システムをスキャンできるシンプルな IoC セキュリティ スキャナ HuntWithChatGPT.psm1 が生成されました:

Get-ChatGPTIoCScanResults-apiKey OpenAI API key https://beta.openai.com/docs/api-reference/authentication -SkipWarning []-Path -IoCOnly []Export only Indicators of compromise-ComputerName Remote Computer's Name-Credential Remote Computer's credentials

Meterpreter と PowerShell Empire エージェントを使用してターゲット システムに感染し、いくつかの典型的な攻撃プログラムをシミュレートしました。スキャナーがターゲット システムに対して実行されると、ChatGPT の結論を含むスキャン レポートが生成されます。偽陽性。

ChatGPT は、「コマンド ラインが外部サーバーからファイルをダウンロードしようとしている」など、メタデータが侵害の兆候であると結論付ける理由を提供していることに注意してください。 「-ep bypass」フラグを使用します。これは、通常存在するセキュリティ チェックをバイパスするように PowerShell に指示します。

サービス インストール イベントでは、Twitter で複数の研究者が示唆しているように、ChatGPT が「段階的に考える」よう質問を少し変更して、速度を落とし、認知バイアスを回避しました。

# 以下の Windows サービス名「$ServiceName」と以下の起動文字列「$Servicecmd」は侵害を示していますか?一歩ずつ考えてください。

#ChatGPT は、誤検知なしで疑わしいサービス インストールを特定することに成功しました。これは、「Windows システム上のログ記録やその他のセキュリティ対策を無効にするためにコードが使用されている」という有効な仮説を立てます。 2 番目のサービスについては、そのサービスが侵害の兆候として分類されるべき理由について結論を示しています。「これら 2 つの情報は、Windows サービスとサービスを開始する文字列が、何らかの形式のマルウェアまたはその他の形式に関連付けられている可能性があることを示しています」悪意のあるアクティビティとの接続であるため、侵入の兆候とみなされる必要があります。」

Sysmon ログとセキュリティ ログ内のプロセス作成イベントは、対応する PowerShell コマンドレット Get-ChatGPTSysmonProcessCreationIoC および Get-ChatGPTProcessCreationIoC を使用して分析されました。最終レポートでは、一部のインシデントが悪意のあるものであることが強調されています:

ChatGPT は、ActiveX コード内の疑わしいパターンを特定しました: 「コマンド ラインには、新しいプロセス (svchost.exe) を開始し、現在のプロセス (rundll32.exe) を終了するコマンドが含まれています」 「。」

は、lsass プロセス ダンプの試行を正しく説明しています。「a.exe は昇格された特権で実行され、ターゲットとして lsass (ローカル セキュリティ機関サブシステム サービスを表す) を使用しています。最後に、dbg.dmp は、A メモリ ダンプでそれを示しています。デバッガーの実行中に作成されています。」

Sysmon ドライバーのアンインストールは正しく検出されました: 「コマンド ラインには、システム監視ドライバーをアンインストールするための手順が含まれています。」

PowerShell スクリプト ブロックをチェックする際、メトリクスだけでなく難読化手法もチェックするように質問を変更しました:

次の PowerShell スクリプトが難読化されているかどうか、または次の PowerShell スクリプトが難読化されているかどうか妥協の兆候? "$ScriptBlockText"

ChatGPT は難読化技術を検出できるだけでなく、XOR 暗号化、Base64 エンコード、変数置換も列挙できます。

もちろん、このツールは完璧ではなく、偽陽性と偽陰性の両方が発生する可能性があります。

次の例では、ChatGPT は SAM レジストリを介してシステム資格情報をダンプする悪意のあるアクティビティを検出しませんでしたが、別の例では、lsass.exe プロセスが「悪意のあるアクティビティまたはセキュリティ リスク (以下のような) を示している可能性がある」と説明されています。システム上で実行されているマルウェア":

この実験の興味深い結果の 1 つは、データセット内のデータの削減です。テスト システムで敵対者をシミュレートした後、アナリストが検証するイベントの数は大幅に減少します。

テストは新しい非運用システムで実行されることに注意してください。 。運用システムでは、より多くの誤検知が発生する可能性があります。

実験の結論

上記の実験では、セキュリティ アナリストが ChatGPT に Mimikatz や高速リバース プロキシ。 AI モデルはこれらのツールを正常に記述しましたが、既知のハッシュとドメイン名を識別するように求められた場合、ChatGPT は正しく記述できずに失敗しました。たとえば、LLM は WannaCry マルウェアの既知のハッシュを特定できませんでした。しかし、ホスト上の悪意のあるコードの特定に比較的成功したため、セキュリティ アナリストは、システムからメタデータと侵害インジケータを収集し、LLM に送信することを目的とした PowerShell スクリプトを作成するように ChatGPT に依頼しようとしました。

全体として、セキュリティ アナリストは ChatGPT を使用してテスト システム上の 3,500 以上のイベントのメタデータを分析し、侵害の潜在的な兆候を 74 件発見し、そのうち 17 件は誤検知でした。この実験は、エンドポイント検出および応答 (EDR) システムを実行していない企業のフォレンジック情報の収集、コードの難読化の検出、またはコード バイナリのリバース エンジニアリングに ChatGPT を使用できることを示しています。

IoC スキャンの正確な実装は、現在ホストあたり約 15 ～ 25 ドルと費用対効果の高いソリューションではないかもしれませんが、興味深い中立的な結果が示され、将来の研究とテストの機会に光を当てます。調査中に、ChatGPT がセキュリティ アナリストにとって生産性ツールである次の分野に気づきました。

侵害の兆候を示すシステム検査。特に検出ルールが満載された EDR がまだなく、いくつかの実行が必要な場合。デジタル フォレンジックとインシデント 応答 (DFIR) の場合;

現在の署名ベースのルール セットと ChatGPT 出力を比較して、ギャップを特定します。アナリストが気づいていないテクニックや手順が常に存在します。または、 の署名を作成するのを忘れた場合。

コード難読化の検出;

類似性検出: マルウェア バイナリを ChatGPT にフィードし、新しいバイナリが他のバイナリと類似しているかどうかを尋ねてみます。

質問を正しく行うことで、問題の半分は解決されたことになります。質問やモデル パラメーターのさまざまなステートメントを試してみると、ハッシュやドメイン名であっても、より価値のある結果が得られる可能性があります。さらに、これにより生じる可能性のある偽陽性と偽陰性にも注意してください。結局のところ、これは予期せぬ結果を招きやすい統計ニューラル ネットワークの 1 つにすぎないからです。

フェアユースとプライバシーのルールは明確にする必要があります

同様の実験では、OpenAI の ChatGPT システムに送信されたデータに関するいくつかの重要な疑問も生じています。企業はインターネットからの情報を使用してデータセットを作成することに反対し始めており、Clearview AI や Stability AI などの企業は、機械学習モデルの使用を制限しようとして訴訟に直面しています。

プライバシーは別の問題です。 NCCグループのアンリー氏は、「セキュリティ専門家は、侵入の痕跡を提出することで機密データが公開されるかどうか、あるいは分析用のソフトウェアコードを提出することが企業の知的財産権を侵害するかどうかを判断する必要がある。コードをChatGPTに提出することが良いアイデアかどうかは大きな問題だ」と述べた。 「範囲は状況によって異なります。」と同氏は付け加えました。「多くのコードは専有権があり、さまざまな法律によって保護されているため、許可がない限りコードを第三者に提出することはお勧めしません。」

その他のセキュリティ専門家も同様の警告を発しています。ChatGPT を使用して侵入を検出すると、機密データがシステムに送信されるため、企業ポリシーに違反し、ビジネス リスクを引き起こす可能性があります。これらのスクリプトを使用すると、OpenAI にデータ (機密データを含む) を送信できるため、事前にシステム所有者に確認してください。

この記事は、https://securelist.com/ioc-detection-experiments-with-chatgpt/108756/

から翻訳されたものです。

以上が脅威検出テクノロジーの適用: ネットワーク セキュリティの鍵、リスクも考慮の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。