数码照片中的自动除尘校正：DxO PureRAW ⁶ 如何利用深度学习检测并移除粉尘斑点

DxO PureRAW ⁶ 全新推出自动粉尘检测与去除功能：只需一次点击，即可识别整幅图像中的灰尘污点并将其彻底清除，将以往繁琐的手动修复过程实现自动化。 该功能结合了先进的目标检测神经网络与 DxO 久经验证的图像修复引擎。

可为用户带来的主要优势

• 全自动工作流程。 只需勾选一个复选框，即可完成粉尘检测与移除。 可对整组照片进行批量处理，使每一张图像都干净无瑕。
• 可调节灵敏度。 通过滑块，用户可以在处理尽可能多的灰尘斑点（高灵敏度）与减少误判风险（低灵敏度）之间灵活取舍。

（当然，我们仍然建议您时不时清洁一下设备。 😉）

问题所在

可换镜头相机在使用过程中，传感器或镜头上往往会积聚灰尘。 这些微粒会在图像中投下细小而柔和的阴影，在天空或影棚背景等平滑、均匀的区域中尤为明显。

长期以来，摄影师只能在后期处理中解决这一问题，通常使用修复、修补或润饰画笔来处理。 当图像受到严重影响，或需要处理大量图像时，这一过程很快就会变得繁琐而耗时。

DxO PureRAW ⁶ 将这一流程实现了自动化。 检测算法会扫描图像中的粉尘斑点，随后由图像修复算法自动将其逐一移除。

为何粉尘检测具有挑战性

乍看之下，传感器粉尘似乎很容易描述：小而暗、形状大致呈圆形的斑点。 然而，这种表面上的简单其实具有误导性； 一些特性使得可靠的检测远比想象中困难。

极其细微： 大多数粉尘斑点只会削弱很小一部分入射光——通常仅 5% 到 20%。 它们更像是淡淡的污痕，而不是不透明的黑斑，其可见程度在很大程度上取决于底层图像内容。

空间尺度极小：在完整分辨率下，一个典型的粉尘斑点通常只覆盖少数几个像素——如此微小的尺寸，使得那些针对人物或车辆等目标优化的通用目标检测器很难识别它们。

缺乏明显结构：与主流检测器擅长识别的对象不同——例如具有眼睛、鼻子和嘴巴的面孔，或拥有车轮与车窗的汽车——粉尘斑点几乎没有可供神经网络捕捉的结构特征。 本质上，它只是一个淡淡的深色污渍。

高度多变：粉尘斑点的外观取决于多种因素，比如颗粒的大小与形状、其与传感器表面的距离、镜头光圈，以及底层场景的颜色与亮度。 有些斑点呈现为边缘清晰的圆形；有些则像柔和、弥散的光晕。 有的在明亮的天空背景上几乎呈黑色；有的则与图像噪点几乎难以区分。 这种多样性远比乍看之下所想象的更加复杂。 此外，由于其表现还受到光圈与场景内容的影响，同一颗实际存在的粉尘颗粒，在不同照片中看起来也可能截然不同。

检测模型：RF-DETR

该功能的核心是 RF-DETR，一种基于 Transformer 的目标检测架构。 我们评估了多种检测架构，包括多代基于 CNN 的模型。 最终选择 RF-DETR，基于以下几方面原因：

领先的检测精度：RF-DETR 在标准目标检测基准测试中取得了顶尖成绩，在性能上优于许多广为人知的替代方案。

多种模型规模：RF-DETR 提供 Nano、Small、Medium、Large 和 XL 多种模型版本，使我们能够在检测精度与计算成本之间取得最佳平衡。 最终我们选择了
Medium（中型）版本（约 3300 万个参数）。
与分辨率无关的架构：RF-DETR 不包含会固定输入分辨率的全连接层。 这种灵活性对于我们的分块推理策略至关重要，图像会被划分为多个 512×512 像素的重叠区域，检测模型在每个区域上独立运行， 随后再将结果合并，得到整张图像的最终检测结果。

在标准基准测试中，RF-DETR 可以检测数十种对象类别——如人物、车辆、动物和家具等。 而在我们的应用场景中，我们将该模型重新训练，使其只识别一个类别：粉尘斑点。 真正的挑战并不在于分类，而在于检测——即在庞大的图像中找出那些微小、低对比度的特征。

训练数据

要训练出一个可靠的粉尘检测模型，必须让网络接触到大量样本，涵盖粉尘形态、不透明度、模糊程度以及背景场景的各种可能组合。

我们首先收集了数千张包含真实灰尘污点的照片，并由人工逐一进行精确标注。 该真实数据集已涵盖了粉尘在形状、尺寸、不透明度、模糊程度以及背景环境方面的广泛多样性，但我们仍希望进一步扩展数据的覆盖范围。

凭借在图像与信号处理方面的专业积累，我们的研究团队开发了一套粉尘合成器：一种紧凑的算法，可生成与真实粉尘斑点几乎无法区分的模拟斑点，并将其叠加到随机的真实或合成背景图像上。 该合成器对真实粉尘的关键物理特性进行了建模，包括不规则的斑点形状、在线性空间中对各颜色通道的光线衰减、柔化边缘的模糊效果，以及某些颗粒可能呈现的方向性阴影。 每项参数都在经过精心校准的范围内随机化生成，这些范围源自对真实粉尘斑点的统计分析。

这种合成数据的方法能够确保训练集中粉尘特征与背景场景的分布更加均衡，从而避免人工收集数据集中不可避免的偏差。 例如，它可以保证网络能够看到足够多的极其微弱的斑点、极小的斑点，以及各种非常规背景——这些组合在纯真实数据集中往往会被低估或缺失。

在训练过程中，我们的粉尘检测网络总共接触了约一百万个粉尘斑点样本，其中既包含真实样本，也包含合成样本。