突破传统缺陷检测的界限，\'Defect Spectrum\'首次实现超高精度丰富语义的工业缺陷检测。

在现代制造业中，精准的缺陷检测不仅是保证产品质量的关键，更是提升生产效率的核心。然而，现有的缺陷检测数据集常常缺乏实际应用所需的精确度和语义丰富性，导致模型无法识别具体的缺陷类别或位置。

为了解决这一难题，由香港科技大学广州和思谋科技组成的顶尖研究团队，创新性地开发出了“Defect Spectrum”数据集，为工业缺陷提供了详尽、语义丰富的大规模标注。如表一所示，相比其他工业数据集，“Defect Spectrum”数据集提供了最多的缺陷标注（5438张缺陷样本），最细致的缺陷分类（125种缺陷类别），并为不同种类的缺陷都提供了像素级的细致标签。此外，该数据集还为每一个缺陷样本提供了精细的语言描述。具体的标注对比如图一所示。

图一：相比其他工业数据集，Defect Spectrum精准度更高，标注更丰富

表一：Defect Spectrum与其他现有数据集的数量，性质对比

“Defect Spectrum”基于最先进的扩散模型，推出了一种革命性的方法——“DefectGen”。通过利用极少量的工业缺陷数据生成图像与像素级缺陷标签，该方法显著提升了工业缺陷检测模型的性能，在多个行业标准数据集上（如MVTec AD、VISION、DAGM2007及Cotton-Fabric）实现了前所未有的性能突破。

这一突破性的研究不仅极大地提高了缺陷检测的准确性，更为AI在复杂工业环境中的应用开辟了新的可能性。该项目的代码和模型已经全面开源。

• 论文：Defect Spectrum: A Granular Look of Large-Scale Defect Datasets with Rich Semantics
• 论文链接：https://www.php.cn/link/136aa7fe7fd745073fec3fb4ef67e3b9
• 项目链接: https://envision-research.github.io/Defect_Spectrum/
• Github Repo: https://github.com/EnVision-Research/Defect_Spectrum 
• Dataset Repo: https://huggingface.co/datasets/DefectSpectrum/Defect_Spectrum

突破传统的缺陷检测限制，更加贴近落地生产

 

图二：实际工业生产，缺陷检测以及分析的闭环

在实际的工业生产中，我们对缺陷检测的要求更加细致，工厂需要在控制缺陷件的同时保证收益率，如图二所示。然而，现有的缺陷检测数据集常常缺乏实际应用所需的精确度和语义丰富性，例如一块金属板表面如果有较大面积的油漆剥落，尽管缺陷面积很大，但对金属板的功能影响可能微乎其微。然而，如果金属板内部有一条细小的裂缝，这条裂缝虽小如发丝，却可能在承受压力时导致金属板瞬间断裂，显著影响其性能，甚至引发严重的安全隐患。

更好比说，假设一件衣服的拉链齿出现了错位，这种缺陷虽然看起来尺寸不大，甚至不容易被发现，但却严重影响了衣物的功能，导致拉链无法正常使用，消费者不得不将其退回工厂进行修复。然而，如果缺陷发生在衣物的面料上，比如轻微的钩丝或颜色略有差异，这时就需要仔细权衡其尺寸和影响。小规模的面料缺陷可以被归类在可接受的范围内，允许这些产品通过不同的分销策略销售，比如以打折价格进行销售，从而保持产品流通而不影响整体质量标准。

在这一切背后，"Defect Spectrum"数据集就像一个全能的侦探，洞察一切。它不仅覆盖了广泛的工业缺陷类型，还为每一种缺陷提供了详尽而丰富的描述。通过这个强大的工具，缺陷检测系统能够更加精确地识别和分类各种缺陷，不放过任何一个细节。

想像一下，在實際的生產線上，透過「Defect Spectrum」資料集的幫助，偵測系統能夠迅速識別出這個至關重要的缺陷，立即標記並返回工廠進行修復。同時，對於那些布料上輕微的缺陷或顏色差異，系統可以根據缺陷的詳細標註，判斷其是否在可接受範圍內，決定是否以折扣價格銷售。這種靈活的處理方式，不僅提高了產品的質量，還保證了生產的高效和成本的控制。

傳統資料集如MVTEC和AeBAD儘管提供了像素級的標註，但常常局限於二元遮罩，無法細緻區分缺陷類型和位置。 《Defect Spectrum》資料集透過與工業界四大基準的合作，重新評估並精細化現有的缺陷標註。例如，對細微的刮痕和凹坑進行了更精確的輪廓繪製，且透過專家的輔助填補了遺漏的缺陷，確保了標註的全面性和精確性。

創新的缺陷生成模型「Defect-Gen」

圖三：Defect-Gen兩階段生成流程示意圖

面對當前資料集中缺陷樣本不足的問題，我們提出了「Defect-Gen ”，一個兩階段的擴散式生成器。這個生成器在樣本數量有限的情況下，透過兩個關鍵方法提高了影像的多樣性和品質：第一，使用Patch級建模；第二，限制感受野。

傳統的擴散模型在訓練樣本少時，容易過度擬合，產生的結果缺乏多樣性，往往只是記住了訓練樣本。而我們的模型透過降低資料維度和增加樣本量，有效地減少了這種過度擬合現象。

為了彌補Patch級建模在表達整個影像結構上的不足，我們提出了兩階段的擴散過程。首先，在早期步驟中使用大感受野模型捕捉幾何結構，然後在後續步驟中切換到小感受野模型產生局部Patch。這樣做在保持影像品質的同時，顯著提升了生成的多樣性。透過調整兩個模型的存取點和感受野，我們的模型在保真度和多樣性之間實現了良好的平衡。

透過“Defect-Gen”，我們為工業缺陷檢測提供了更豐富和多樣化的訓練樣本，推動了自動化檢測技術的發展

全面評估與未來的研究方向

表表：部分缺陷偵測網路在Defect Spectrum資料集上的評估結果

表三：Defect Spectrum資料集上的實際評估標準 表四：Defect Spectrum在實際評估中的優異表現集進行了全面的評估，標註如表三所示。這個實驗驗證了Defect Spectrum在各種工業缺陷偵測挑戰中的適用性和優越性。表四顯示，比起原有的資料集，在我們資料集上訓練的模型提升了10.74%的召回率(recall)，降低了33.1%的過殺率(False Positive Rate)。此外，資料集的建構和評估過程不僅提供了一個堅實的研究基礎，也為工業界和學術界的研究人員提供了一個評估和開發針對工業缺陷檢測複雜需求的先進模型的平台。

Defect Spectrum資料集的引入，猶如為工業生產注入了一劑強心針。它讓缺陷檢測系統更貼近實際生產需求，實現了高效率、精準的缺陷管理。同時，它也為未來的預測性維護提供了寶貴的數據支持，透過記錄每個缺陷的類別和位置，工廠可以不斷優化生產流程，改進產品修復方法，最終實現更高的生產效益和產品品質。

總結

我們發布了Defect Spectrum資料集以及DefectGen缺陷產生器，提供了實際工業檢測中所需的高精確度和豐富缺陷語義，解決了模型無法識別缺陷類別或位置的問題。

我們對Defect Spectrum資料集進行了全面的評估，驗證了其在各種工業缺陷檢測挑戰中的適用性和優越性，比起原有的資料集，在我們資料集上訓練的模型提升了10.74%的召回率(recall)，降低了33.1%的過殺率(False Positive Rate)。

參考資料：

1.    Bai, H., Mou, S., Likhomanenko, T., Cinbis, R.G., Tuzel, O., Huang, P., Shan, J., Shi, J., Cao, M.：視覺資料集：視覺資料集的基準是基於視覺的工業檢測。 arXiv 預印本arXiv:2306.07890 (2023)

2.    Silvestre-Blanes, J.、Albero-Albero, T.、Miralles, I.、Pérez-Llorens, R.、Morenoens, J.結果的公共織物資料庫。 Autex 研究雜誌19(4), 363–374 (2019)。 https://doi.org/doi:10.2478/aut-2019-0035,https://doi.org/10.2478/aut-2019-0035

3.    張Z.，趙Z.，張贛C.，陳X.：具有域轉移的工業異常檢測：真實世界資料集和屏蔽多尺度重建。 arXiv 預印本 arXiv:2304.02216 (2023)

4。    Mishra, P.、Verk, R.、Fornasier, D.、Piciarelli, C.、Foresti, G.L.：VT-ADL：用於影像異常檢測和定位的視覺變換器網路。請參閱：第 30 屆 IEEE/IES 國際工業電子研討會 (ISIE)（2021 年 6 月）

5。    Incorporated, C.：標準布料缺陷術語表 (2023)，URL：https://www.棉花公司com / 品質 - 產品 / 紡織品 - 資源 / 布料 - 缺陷 - 名詞表格

6。    Wieler, M., Hahn, T.：工業光學檢測的弱監督學習。請參閱：DAGM 研討會。卷。 6（2007）

7。    Tabernik, D.、Šela, S.、Skvarč, J.、Skočaj, D.：基於分割的深度學習表面缺陷偵測方法。智慧製造雜誌31(3), 759–776 (2020)

8.    Bergmann, P., Fauser, M., Sattlegger, D., Steger, C.：Mvtec ad—用於無監督異常檢測的綜合現實世界資料集。請參閱：IEEE/CVF 計算機視覺和模式識別會議論文集。第 9592–9600 頁（2019）

9。    Zou, Y.、Jeong, J.、Pemula, L.、Zhang, D.、Dabeer, O.：用於異常檢測和分割的找出差異自監督預訓練（2022）

以上是突破传统缺陷检测的界限，'Defect Spectrum'首次实现超高精度丰富语义的工业缺陷检测。的详细内容。更多信息请关注PHP中文网其他相关文章！