如何解决复杂工业图像的缺陷检测问题?

0.这篇文章干了啥？

这篇文章介绍了两个主要内容：第一部分介绍了一个新的监督异常检测数据集VAD，该数据集源自实际生产环境，提供了一个具有挑战性的基准，用于评估现实世界中的缺陷检测方法。第二部分提出了一种名为SegAD的创新监督异常检测方法，该方法在VAD数据集上实现了最先进的性能，并在标准VisA数据集上的监督基准测试中表现出色。实验结果表明，现有的监督异常检测方法在处理复杂问题方面存在局限性，而将SegAD与表现优异的单类异常检测模型相结合可以进一步提高性能。

下面一起来阅读一下这项工作~
1. 论文信息

论文题目：Supervised Anomaly Detection for Complex Industrial Images

作者：Aimira Baitieva, David Hurych等

作者机构：valeo, valeo.ai

论文链接：https://arxiv.org/pdf/2405.04953

代码链接：https://github.com/abc-125/segad
2. 摘要

在工业生产线中自动化视觉检测对于提高各行业产品质量至关重要。异常检测（AD）方法是实现这一目的的强大工具。然而，现有的公开数据集主要由没有异常的图像组成，限制了AD方法在生产环境中的实际应用。为了解决这一挑战，我们提出了（1）瓦莱奥异常数据集（VAD），这是一个包含5000张图像的新颖真实世界工业数据集，其中包括2000个具有挑战性的真实缺陷实例，涵盖了20多个子类。鉴于传统AD方法在处理这个数据集时存在困难，我们引入了（2）基于分割的异常检测器（SegAD）。首先，SegAD利用异常图和分割图来计算局部统计量。接下来，SegAD将这些统计量和一个可选的监督分类器分数作为Boosted Random Forest（BRF）分类器的输入特征，得出最终的异常分数。我们的SegAD在VAD（+2.1% AUROC）和VisA数据集（+0.4% AUROC）上均取得了最先进的性能。代码和模型均已公开。


3. 效果展示

合格部件。压电陶瓷上允许有小的划痕，电线靠近焊点边缘也是可以接受的。（VAD）



缺陷种类：从左上角开始，依次为：电线在侧面，电线脱离焊点，缺失电线，电线形状不良（弯曲过多）。结构性缺陷：焊膏污染，压电陶瓷上的裂缝，焊点下面的烧坏区域，压电陶瓷破裂。（VAD）



左到右看不见的缺陷：烧焦的焊点，烧焦的电线，多余的不必要的电线。（VAD）


4. 主要贡献

我们提出了一个具有复杂对象和大量缺陷的监督异常检测数据集。此外，我们建立了一个一类异常检测基准，比大多数当前的基准更具挑战性，一个具有训练中的高数量的坏图像（1000张图像）的监督基准和一个具有训练中的低数量的坏图像（100张图像）的监督基准。我们将数据集免费与研究界共享。我们创建了一种名为SegAD的新型监督异常检测方法。这种方法在保留了检测未知缺陷的能力的同时，比最近的单独异常检测器表现明显更好。SegAD在VAD以及已建立的VisA数据集上取得了SOTA结果。

5. 基本原理是啥？

本文介绍了一种名为SegAD的方法，用于图像异常检测。SegAD的基本原理是利用像素级别的异常检测器生成异常图，然后根据预定义的图像段提取这些异常图的统计信息。最后，利用这些统计信息和可选的监督分类器分数作为输入特征，使用BRF分类器生成最终的异常检测结果。SegAD的训练包括两个阶段，第一阶段训练异常检测器，第二阶段训练BRF分类器。SegAD的特点是快速训练和推理速度，并且可以使用不同的异常检测器和监督分类器进行配置，以适应不同的数据集和问题。

SegAD方法基于以下几个关键步骤：

输入图像处理：SegAD接收图像作为输入，假设图像为W×H像素大小，具有3个颜色通道。异常检测器：使用一种或多种异常检测器来生成像素级别的异常图。这些异常检测器可以是任何能够生成异常分数的模型，例如PatchCore、FastFlow、RD4AD或EfficientAD。图像分割：定义一组互斥的图像段，每个图像段sl是一个W×H的二维矩阵，表示图像中的一个区域。异常检测器生成的异常图根据这些图像段进行分割，以便提取每个段内的异常信息。统计信息提取：对每个异常图的每个图像段计算一些统计信息，例如99.5%分位数、偏度、峰度和平均值。这些统计信息用于描述图像段中异常的程度和类型。特征向量生成：将每个图像的统计信息组合成一个特征向量f。这个特征向量的长度为K * L * 4 + 1，其中K是异常检测器的数量，L是图像段的数量。BRF分类器：使用Boosted Random Forest (BRF)分类器来对特征向量进行训练和推理，从而生成最终的异常检测结果。BRF分类器能够利用异常图的统计信息和可选的监督分类器分数来提高异常检测的准确性。

6. 实验结果

这项实验的主要内容包括：

评估指标：使用AUROC和FPR@95TPR等指标对结果进行评估，以评估异常检测性能。实现和评估细节：SegAD方法使用了一些单类异常检测器（如PatchCore、FastFlow、Reverse Distillation和EfficientAD）以及一些监督异常检测器（如DevNet和DRA）。最终分类器BRF使用XGBoost库进行训练。图像大小被调整为256x256像素以减少偏见。VAD数据集的单类基准测试：这项基准测试仅允许使用好的图像进行训练，但SegAD需要坏的图像，因此尝试用人工生成的缺陷替换它们。结果表明，即使采用这种简单的方法，也能比单独使用异常检测方法获得更好的结果。VAD数据集的高频监督基准测试：这个基准测试允许训练监督分类器，但它无法检测到看不见的缺陷。结果显示，SegAD与监督分类器和单类异常检测模型的组合可以取得最佳结果。VAD数据集的低频监督基准测试：这个基准测试仅使用100个坏图像进行训练，这对于具有20多种类型缺陷的数据集来说可能是相对较少的。结果显示，SegAD即使在低频监督基准测试中也能改善其他模型的性能。VisA数据集上的结果：在VisA数据集上进行了实验，该数据集包含较少数量的好图像，我们使用不同的策略来确保训练数据集中有足够的图像来训练基线异常检测模型。消融研究：进行了对SegAD方法的消融研究，结果表明，采用我们提出的特征和分割地图可以显著提高异常检测性能。局限性：SegAD方法需要分割地图，这可能是一个限制因素。此外，由于训练数据和测试数据之间的差异，异常检测结果可能会受到影响，这是一个潜在的限制。

7. 总结 & 未来工作

本研究介绍了VAD，这是一个全新的监督异常检测数据集，源自实际生产，为研究界提供了解决现实世界缺陷检测难题的挑战性基准。此外，我们提出了SegAD，一种创新的监督异常检测方法，在VAD数据集上取得了最先进的性能，同时也在标准VisA数据集上的监督基准测试中表现出色。实验结果揭示了现有监督异常检测方法在处理复杂问题方面的局限性，而将SegAD与表现优异的单类异常检测模型结合起来，进一步提高了它们的性能。

本文仅做学术分享，如有侵权，请联系删文。