基于大模型的正样本异常检测方案-实现用户简单点击即可将识别为异物的物体定义为正常物体

变电站中存在诸多潜在异常风险，其一是来自外界的不可预测的异物威胁，容易引发短路、电弧甚至火灾事故，需要采取措施预防。由于异物未知且采集异物图像成本非常高，需要算法实现在仅拥有正常图像样本的条件下实现对未知异物的检测。

项目利用大模型检测并提取场景中物体的特征，并使用特征融合和存储库技术让算法“记住”正常场景，再通过融合特征比对的方式分辨出异常物体。该算法充分发挥了大模型跨模态、预训练、开放性等众多优势，以很小的代价就能完成传统深度学习算法无法完成的任务。

在算法落地过程中，获取稀缺图像一直是一大挑战。在本项目中，正样本检测技术巧妙地避开这一难题，运用先进技术，避免了困难的负样本采集工作的同时，还具有更好的精度和泛化能力。本项目的正样本检测算法不仅能在电力变电行业表现出色，同时也适用于其他工业或生活场景。

变电站作为电力系统的关键设施，承担着输电、变压、配电等重要任务，是电力供应的核心节点。然而，由于其特殊的地理位置和功能属性，变电站存在着诸多潜在的异常风险。其中，最为突出的问题之一是来自外界的不可预测异物的威胁。风筝、塑料袋等物体，一旦进入变电站区域，可能与高压设备接触，引发短路、电弧甚至火灾等严重安全事故，威胁到变电站设备的安全运行和周边地区的人身财产安全。

这些不可知的异物对变电站的安全稳定造成了潜在威胁，因此需要采取有效的措施来应对。由于异物未知且采集异物图像成本高，客户要求仅利用易获得的正常样本进行训练，实现场景中异物的准确检测，以降低成本并提高效率。

基于大模型的方法与传统工业视觉检测的区别：以往的工业视觉检测大多需要采集大量所需类别的图像样本并训练一个针对性的小模型，这样的模型容量小，能力有限，也难以运用到已有的海量预训练数据集的知识。而大模型发展至今，仅预训练的模型在很多视觉任务的精度上已经碾压传统小模型，再经过行业数据微调后可以更加适合于特定的工业视觉检测任务。

基于大模型的正样本检测技术：通过检测大模型的开放词汇识别出物体，然后用特征提取大模型的编码物体的深度特征，结合存储库技术，能够实现在仅见过正常场景图片的有限条件下，精准检测出场景中出现的任何未知的异常物体，精度相较于传统深度学习方法大幅提升。

正样本在线增量训练技术：通过对存储库和交互方式的设计，并结合大模型的特性，实现用户简单点击即可将识别为异物的物体定义为正常物体。这一技术实现了模型和存储库的在线更新，有效解决了模型部署后更新难、反馈慢的问题。

多点位模型通用技术：实际项目中需要部署的点位可达成百上千，本项目利用大模型的通用性和特征存储库技术打破了一个点位对应一个模型的限制，实现在不改变主网络的结构和参数的条件下，快速训练出各个点位的特征存储库，并且能够在不同点位间快速切换。

样本生成技术：对图像生成大模型进行微调训练后，通过对边缘、文字提示和正常图像的结合来实现在变电站图像中任意位置（许多位置工人难以到达但又容易出现异物）生成任意形态的异物，用于测试算法的能力并进行迭代提升。

实施效果

项目目前已在国家电网某变电站进行了超300个摄像头点位的部署运行，综合漏报率低于3%，误报率低于5%。

正样本巡视系统采用定时排查和人工下任务两种方式，全面检测所有点位。工作人员在系统中复核告警图像并清理异物，实现了异常检测的自动化和智能化。相较于纯人工不定期巡视，该系统能全天候定时检测所有场景，显著减少人力成本，且算法速度快、资源消耗低。每增加一个点位只需额外3MB内存和磁盘存储空间，适用于大规模部署应用。

该项目的应用极大地减少了变电站的潜在异常风险，得到了国家电网上海练塘站领导的一致好评，并已开始向全国范围内其他变电站推广。此外，这种正样本技术不仅局限于变电站场景，还可以应用于其他工业和生活场景。

本方案基于摄像头等国产硬件感知设备，配合自主研发基于大模型的正样本检测关键技术，形成整套的解决方案产品；相比于传统深度学习模型只能检测固定类别的异常，本项目灵活使用视觉大模型，可以有效检测出未知的缺陷种类。本产品最早应用于变电站异常识别领域，可以检测出变电站中出现的异常现象，有效保障电力稳定安全运行。从经济的角度为传统行业提质增效智能化升级、减低人力成本；从社会角度，对各行业的智能巡检场景实现“机器代人眼”，对释放数字经济潜力、形成新的经济增长点具有重要意义。同时，其应用场景除电力外，仍可覆盖石油、化工、烟草、园区等需要智能巡视的领域，可提高各个应用场景系统运维工作效率与质量。