Nature サブジャーナルに掲載されている、ニューラル ネットワークのバグを発見できる視覚化ツール

最近、「Nature」サブジャーナルに、ニューラルネットワークのどこで問題が発生するかを突き止めることができる研究結果が掲載されました。研究チームは、ニューラルネットワークの推論結果とその分類との関係をトポロジーを使って記述する視覚化手法を提供します。この結果は、研究者がニューラル ネットワーク推論中の混乱の特定の状況を推測し、人工知能システムの透明性を高めるのに役立ちます。

研究者がニューラルネットワーク推論の障害点を明らかに

1. ニューラルネットワークのスパイクにより推論エラーが明らかに:

   • 研究は、判断を曖昧にし、関連するエラーを生成するニューラルネットワーク推論におけるデータグラフのスパイクを発見しました。
   • スパイクを観察すると、AI システムの障害点を特定するのに役立ちます。

2. ニューラルネットワークの推論プロセスの透明性の欠如:

   • ニューラルネットワークは問題解決には優れていますが、その推論プロセスは不透明であり、信頼性についての懸念が生じています。
   • 新しい研究は、ニューラルネットワークのエラーの原因を発見する方法を提供します。

3. ニューラルネットワークの「ブラックボックス」特性:

   • ニューラルネットワークは問題の解決方法を理解することが難しく、答えの正しさを判断することが困難です。
   • 研究者は、単一サンプルのニューラル ネットワークの意思決定プロセスを追跡することはできません。

4. 決定結果の視覚化:

   • 研究者らは、個々のサンプルの決定を追跡する代わりに、データベース全体のニューラルネットワークの決定結果とサンプルの間の関係を視覚化しました。
   • これは、より高いマルチクラス確率を持つ画像を識別するのに役立ちます。

5. トポロジーデータ分析:

   • 研究者はトポロジーを使用して、推論結果と分類の間の関係をプロットします。
   • トポロジカル データ分析ツールは、データ セット間の類似性を特定するのに役立ちます。
   • このツールは、乳がんのサブグループと遺伝子の関係を分析するために使用されています。

     

     論文リンク: https://www.nature.com/articles/s42256-023-00749-8

新しい研究結果に基づいて生成された関係図では:

• 各点はニューラルを表しますネットワーク 関連するとみなされる画像のグループ
• 異なるカテゴリのマップは、異なる色で表されます
• 点間の距離が近いほど、ニューラル ネットワークは各画像グループをより類似するとみなします

これらのマップのほとんどは、単一の色の点を示しますグループ。

異なる色の 2 つの重なり合う点は、複数のカテゴリに属する​​可能性が高い画像を示します。 「私たちのアプローチは、データの特定の領域にズームインした地図のような関係図を構築することができます。」とグライヒ氏は言います。「これらの領域は、特定のカテゴリの境界が明確ではない場所であり、解決策が明確ではない可能性があります。ただし、新しい方法で生成されたマップでは、ネットワークが分類できない領域を示す可能性があるため、さらなる研究に値する特定のデータ予測が強調表示される可能性があります。この方法は、「研究者が人間の生得的な思考方法を使用してニューラル ネットワークの推論を推測する」方法を提供します。 「これにより、私たちがすでに知っていることに基づいて、ネットワークが新しい入力にどのように反応するかを予測することができます」とグライヒ氏は述べ、ニューラルネットワークは特に胸部X線写真、遺伝子配列などのカテゴリーで混乱を招くパターンを起こしやすいことを発見したと述べた。衣類。たとえば、ネットワークが Imagenette データベース (ImageNet のサブセット) でテストされたとき、車の写真が繰り返しテープ プレーヤーとして分類されました。その原因は、画像がオンライン ショッピングのリストから取得されたものであり、カーオーディオ機器のラベルが含まれていることが原因であることが判明しました。
チームの新しいアプローチは、「何がうまくいかなかったのか」を明らかにするのに役立ちます。 「このレベルでデータを分析することで、科学者は新しいデータに対して有用な予測を行うだけでなく、ニューラル ネットワークがデータをどのように処理するかを深く理解できるようになります。私たちのツールは、発見に非常に優れているようです」とグライヒ氏は述べています。トレーニングデータ自体にエラーが含まれている場合」とグライヒ氏は述べた。 「手動でデータにラベルを付ける場合、人は間違いを犯します。」
この分析戦略の潜在的な用途には、ニューラル ネットワークの特に重要なアプリケーションが含まれる可能性があります。たとえば、敗血症や皮膚がんを研究するためのヘルスケアや医学におけるニューラル ネットワークの応用を考えてみましょう。
批評家は、ほとんどのニューラルネットワークは人間集団に対する既存の偏見を反映した過去の決定に基づいて訓練されているため、AIシステムは最終的に過去の間違いを再現することになると主張しています。新しいツールを使って「予測の偏りや偏りを理解する」方法を見つけられれば、大きな進歩になる可能性があるとグライヒ氏は述べた。
グライヒ氏は、この新しいツールをニューラルネットワークと併用して、「遺伝子変異が有害である可能性があるかどうか」など、小さなデータセットから特定の予測を生成できると述べた。しかし今のところ、研究者はそれを大規模な言語モデルや拡散モデルに適用する方法を持っていません。
詳しくは原著論文をご参照ください。
参考コンテンツ:
https://spectrum.ieee.org/ai-missing
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/タマルディ/
https://www.cs.purdue.edu/homes/dgleich/

以上がNature サブジャーナルに掲載されている、ニューラル ネットワークのバグを発見できる視覚化ツールの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。