Nature 하위 저널에 포함된 신경망 버그를 찾을 수 있는 시각화 도구

최근 '네이처' 부저널에는 신경망의 어디가 잘못됐는지 알아낼 수 있는 연구 결과가 실렸습니다. 연구팀은 신경망의 추론 결과와 분류 간의 관계를 토폴로지를 사용하여 설명하는 시각화 방법을 제공합니다. 이 결과는 연구자들이 신경망 추론 중에 혼란의 구체적인 상황을 추론하고 인공지능 시스템을 더욱 투명하게 만드는 데 도움이 될 수 있습니다.

연구원들이 신경망 추론의 실패 지점을 밝혔습니다

1. 신경망 스파이크로 추론 오류가 드러났습니다.

   • 연구에서는 판단을 흐리게 하고 관련 오류를 생성하는 신경망 추론의 데이터 그래프 스파이크를 발견했습니다.
   • 급상승을 관찰하면 AI 시스템의 실패 지점을 식별하는 데 도움이 될 수 있습니다.

2. 신경망 추론 과정의 투명성 부족:

   • 신경망은 문제 해결에는 능숙하지만 추론 과정이 불투명하여 신뢰성에 대한 우려가 커지고 있습니다.
   • 새로운 연구에서는 신경망 오류의 원인을 발견할 수 있는 방법을 제공합니다.

3. 신경망의 "블랙박스" 특성:

   • 신경망은 문제 해결 방법을 이해하기 어렵기 때문에 답의 정확성을 판단하기 어렵습니다.
   • 연구원은 단일 샘플에 대한 신경망의 의사 결정 과정을 추적할 수 없습니다.

4. 결정 결과 시각화:

   • 개별 샘플의 결정을 추적하는 대신 연구원들은 전체 데이터베이스에 대한 신경망의 결정 결과와 샘플 간의 관계를 시각화했습니다.
   • 이것은 다중 클래스 확률이 더 높은 이미지를 식별하는 데 도움이 됩니다.

5. 위상 데이터 분석:

   • 연구원들은 토폴로지를 사용하여 추론 결과와 분류 간의 관계를 표시합니다.
   • 토폴로지 데이터 분석 도구는 데이터 세트 간의 유사성을 식별하는 데 도움이 됩니다.
   • 이 도구는 유방암 하위 그룹과 유전자 간의 관계를 분석하는 데 사용되었습니다.

     

     논문 링크: https://www.nature.com/articles/s42256-023-00749-8

새로운 연구 결과를 바탕으로 생성된 관계 다이어그램에서:

• 각 점은 신경을 나타냅니다. 네트워크 관련이 있는 것으로 간주되는 이미지 그룹
• 서로 다른 범주의 지도는 서로 다른 색상으로 표시됩니다.
• 점 사이의 거리가 가까울수록 신경망은 각 이미지 그룹을 더 유사하게 간주합니다.

이러한 지도의 대부분은 단일 색상 점을 나타냅니다. 그룹.

两个不同颜色的重叠点表示有高概率属于多个分类的图像。「我们的方法能够构建出类似地图的关系图，放大某些数据区域。」 Gleich 表示，「这些区域通常是某几个分类边界不明显的地方，在这些地方，解决方案可能并不那么清晰。不过，它能突出值得进一步研究的特定的数据预测。」
由新方法生成的地图能够显示网络无法分类的区域。这种方法提供了「让研究者能够运用人类与生俱来的思维方式来推测神经网络的推理思路」的途径。Gleich 表示道：「这使我们可以根据已知的网络来预测它将如何响应全新的输入。」
研究团队发现神经网络特别容易混淆如胸腔的 X 光片、基因序列以及服装等类别的图案。例如，当一个网络在 Imagenette 数据库（ImageNet 的一个子集）测试时，它反复地将汽车的图片归类为磁带播放器。他们发现这是由于这些图片是从网购列表中提取的，含有汽车音响设备的标签。
该团队的新方法有助于揭示「错误出在哪里」。Gleich 介绍说：「在这个层面上分析数据，可以让科学家们从仅仅在新数据上得到一堆有用的预测，深入理解神经网络可能是如何处理他们的数据的。」
「我们的工具似乎很擅长帮助发现训练数据本身是否包含错误，」Gleich 表示。「人们在手工标注数据时确实会犯错误。」
这种分析策略的潜在用途可能包括特别重要的神经网络应用。比如说，神经网络在医疗保健或医学中的应用，以研究败血症或皮肤癌。
批评者认为，由于大多数神经网络都是根据过去的决定训练出来的，这些决定反映了对人类群体本来存在的偏见，因此 AI 系统最终会复制过去的错误。Gleich 说，如果能找到一种方法来使用新工具「了解预测中的偏见或成见」，可能是一个显著的进步。
Gleich 表示，这一新工具可与神经网络一起使用，通过小数据集生成特定预测，例如「基因突变是否可能有害」。但目前为止，研究人员还没有办法将它应用于大语言模型或扩散模型。
了解更多内容，请参考原论文。
参考内容：
https://spectrum.ieee.org/ai-mistakes
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/tamaldey/
https://www.cs.purdue.edu/homes/dgleich/

위 내용은 Nature 하위 저널에 포함된 신경망 버그를 찾을 수 있는 시각화 도구의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!