ICCV 2025 ｜ SeaS∶ 工业异常生成+正常合成+精准掩码大一统框架，指标全面碾压SOTA 论?标题：SeaS: Few-shot Industrial Anomaly Image Generation with Separation and Sharing Fine-tuning 作者：Zhewei Dai, Shilei Zeng, Haotian Liu, Xurui Li, Feng Xue, Yu Zhou 论?链接：https://arxiv.org/abs/2410.14987 代码链接：https://github.com/HUST-SLOW/SeaS 少样本?业异常?成迎来「全能选?」 当前先进制造领域的产线良率往往超过 98%，因此异常样本（也称为缺陷样本）的搜集和标注已成为?业质检的核?瓶颈，过少的异常样本显著限制了模型的检测能?，利??成模型扩充异常样本集合正逐渐成为产业界的主流选择，但现有?法存在明显局限： 要么仅能完成单?任务（如只?成异常或正常产品），要么需针对不同异常类型单独建模，不仅?成能?受限，还因依赖?量专?模型难以适应复杂场景。 为此，华中科技?学慢?团队（SLOW Team）提出统?的少样本?业?成模型 SeaS。该模型依托 U-Net 的差异化学习能?，精准捕捉正常产品的细微变化与异常区域的丰富差异，仅需要 1-3 张训练样本，通过单?模型即可同步实现多样化异常?成、全局?致的正常产品合成及精确异常掩码标注?成，为?业场景?成任务建?了新的技术基准，有效推动了相关领域的技术进步。 摘要：SeaS 如何突破 ?业场景?成瓶颈？ 针对产业界对多样化异常样本?成、?效建模及精准掩码标注的需求，SeaS 基于 「异常区域变化丰富、正常产品变化细微」 的本质差异，实现了技术突破： 设计?平衡异常?本提示（UA），以多个异常词元与单个正常词元的?对称结构，精准控制异常区域的变化度； 提出解耦异常对?（DA）损失和正常图像对?（NA）损失，分别保证异常多样性与正常产品真实性； 构建精细化掩码预测分?，融合 U-Net 判别特征与?分辨率 VAE 特征，?次实现像素级精确异常掩码?成。 在 MVTec AD、VisA 等主流?业数据集上，SeaS 全?超越现有少样本?业异常?成?法。基于其?成数据训练的有监督分割模型，异常分割 IoU 平均提升 12.79%，充分验证了该框架的有效性。 创新点：三?设计 推动?业场景?成技术升级 1.统?的少样本?成框架： 突破传统单?任务局限，仅需要 1-3 张训练样本，通过?个模型即可同步实现多样化异常?成、全局?致的正常产品合成及像素级精确掩码标注，为领域设?新标杆。 2.分离与共享微调机制： 分别对正常产品和异常的变化程度建模，提升了?成过程的精准控制能?，兼顾异常多样性与正常产品?致性。 3.精细化掩码预测： 创新的精细异常掩码预测分?，通过级联融合 U-Net 判别特征与?分辨率 VAE 特征，实现像素级精确的异常标注，有效提升了下游模型性能。 ?法：SeaS 的技术架构与实现逻辑 整体框架：分离与共享的微调?络 SeaS 的核?在于 「分离建模、共享学习」，仅需要少量的 1-3 张训练样本，通过同?个 U-Net 架构同时处理正常与异常的?成。具体流程为： 1. 设计?平衡异常?本提示，包含分别表征异常和正常产品的词元集合； 2. 提出解耦异常对?（DA）损失，将异常图像区域与异常词元绑定； 3. 利?正常图像对?（NA）损失，使正常词元能够表达全局?致的正常产品； 4. 采?混合训练策略，上述两个训练过程针对异常和正常图像分别处理，并基于共享的 U-Net 架构实现。 不均衡异常?本提示：分离建模异常与正常产品 传统?本提示中，正常与异常词元数量均衡，难以体现?者的本质区别 —— 正常产品变化细微，异常区域则变化丰富。SeaS 提出的?平衡异常?本提示（UA）针对性解决这?问题： 结构设计：UA 提示包含 1 个正常词元 （表征正常产品）和多个异常词元 df_n（表征异常），每种异常类型对应?组专属的异常词元。 训练?式：使?正常图像训练 的嵌?，异常图像训练 df_n 的嵌?，实现正常与异常特征的分离学习。 词元数量影响：如图 3（a）所示，1 个 即可表达正常产品并保证全局?致性，多个 ob 会聚焦局部特征?破坏全局?致性；多个 df_n 是控制异常?成多样性的必要条件（不同词元关注异常的不同属性），但数量过少（如 N=1）易导致 「异常缺失」，过多（如 N=8）会增加多样性但降低真实性。 解耦异常对?损失：精准对?异常区域与词元 针对少量异常图像及其对应掩码，SeaS 提出解耦异常对?（DA）损失，实现异常词元 df_n 与异常区域的精准绑定： 损失定义： 其中，为第 n 个异常词元对应的交叉注意?图，N 为异常词元数量，L 为?于对?的 U-Net 层数，为?值掩码（异常区域为 1，背景为 0），为正常词元对应的交叉注意?图，⊙为元素积。 作?机制：第?项根据掩码将异常区域与 df_n 对?；第?项降低正常词元注意?图在异常区域的响应，避免正常词元与异常区域对?。 异常图像总损失： 结合噪声预测损失，通过对异常图像的前向扩散与噪声预测，进?步提升异常?成的真实性与多样性。 正常图像对?损失：平衡正常产品的?致性与多样性 增加正常词元 数量虽能提升?成多样性，但可能降低正常图像真实性并破坏全局?致性；?仅将单个 ob 与少量训练图像对?，?易出现过拟合。为此，SeaS 提出正常图像对?（NA）损失： 损失定义： 计算过程：对正常图像使?随机噪声和时间步进?前向扩散，得到带噪潜变量，将其与正常词元嵌?输? U- Net 预测噪声，再与随机噪声计算损失，从?学习具有全局?致性的正常产品。 混合训练策略：提升异常?成多样性与模型泛化性 针对传统?法为每种异常单独建模导致的过拟合问题，SeaS 提出分离与共享微调策略： 总损失函数：结合异常损失与正常损失，实现统?优化。 训练流程：将某产品的所有异常图像整合为统?集合，与正常图像训练集混合抽样组成批次进?训练。 优势：如图 3（c）所示，缓解单类异常样本有限导致的过拟合，提升异常?成的多样性与真实性，?持?成未?异常。 精细化掩码预测分?：给异常 「贴」 上精准标签 为提升异常掩码的像素级精度，SeaS 设计级联的精细化掩码预测（RMP）分?，嫁接于训练后的 U-Net，通过 「粗特征提取 + 精细优化」 两步?成精准掩码： U-Net 粗糙特征提取 从 U-Net 解码器的 「up-2」 和 「up-3」 层提取特征，经通道压缩、拼接及 Transformer 融合，得到对异常具有强判别性的粗特征。 掩码精细化模块 针对粗特征上采样后易丢失细节的问题，设计三级串联的掩码精细化模块（MRM）： 每级模块融合 VAE 的?分辨率特征与待优化的判别特征，逐步提升特征的分辨率与判别性； 最终输出的特征兼具?分辨率与强判别性，为精准掩码?成奠定基础。 损失函数 采? Focal Loss 对异常与正常图像的?低分辨率掩码进?监督，确保异常区域标注精准，同时抑制正常区域的误判，提升掩码预测精度。 实验结果 少样本?业异常?成性能领先 SOTA：保真度与多样性双重突破 在少样本?业异常?成的关键指标?拼中，SeaS 表现突出： 各项核?指标全?优于现有?法，IS 分数更?，说明?成的图像真实度更强；IC-LPIPS 表现更优，体现出异常类型的丰富多样性。 从?成效果看（图 5），异常图像细节清晰，类型丰富，且掩码与异常区域精准匹配；正常图像（图 6）全局?致性好，真实感强，充分验证了 SeaS 在少样本?成任务中的优势。 助?异常检测性能提升：多?法效果显著优化 SeaS ?成的数据能有效赋能下游异常检测任务： 将其?成的异常样本应?于基于合成数据的检测?法（如 DRAEM、GLASS），多数据集上的检测性能均有提升，漏检情况明显改善（表 2）。 ??成的正常图像扩充训练集后，?监督检测?法的误检减少，各项指标得到优化，展现出 SeaS 在实际应?中的价值（表 3）。 增强有监督分割模型能?：指标提升幅度明显 利? SeaS ?成的 1000 对图像 - 掩码对训练有监督分割模型，效果显著： 在 MVTec AD、VisA、MVTec 3D AD 数据集上，平均 IoU 分别提升 11.17%、11.71%、15.49%； 图像级 AUROC 相应提升 2.77%、5.92%、6.68%（表 4），充分证明了 SeaS ?成数据对提升分割模型性能的积极作?。 实验结果表明，LFD（https://github.com/HUST-SLOW/LFD）是有监督的异常分割模型的最优选择。 LFD 最初是为道路分割任务开发的，它会?到 ResNet-18 第?阶段的低级特征。?低级特征在异常分割任务中也?有可为，于是将它的应?拓展到了有监督异常分割领域。 LFD 采?双边结构设计：先通过空间细节分?，借助 ResNet-18 第?阶段提取低级特征；再通过上下?语义分??效提取上下?特征，该分?对输?图像进??对称下采样，还引?了聚合模块，能达到媲美 ResNet-18 第三阶段的感受野，计算量却更?。最后，通过选择性融合模块计算低级特征与上下?特征间的像素级注意?。 在异常分割中，LFD ? SeaS ?成的图像 - 掩码对进?训练。它的模型??仅 0.936M，远?于 BiSeNetV2（3.341M）和 UperNet（64.042M），但像素 AP 分数反??出 5.34%，F1 分数?出 3.99%。 核?结论 本研究提出统?的少样本?业异常?成?法 SeaS，探索了异常具有?度变化?正常产品保持全局?致性这?内在特性。通过设计分离与共享的微调策略，对正常产品和异常的不同变化模式进?建模，使精细化掩码预测分?能够利?判别性特征预测精确掩码。SeaS 显著提升了基于合成数据的异常检测?法和有监督异常检测?法的性能，并赋予了有监督分割模型更优异的表现。?量实验验证了该?法在?业异常?成与检测任务中的有效性。 ? THE END 转载请联系本公众号获得授权 投稿或寻求报道：liyazhou@jiqizhixin.com