物损 AI 识别系统

01 Background

人工目检的四个结构性瓶颈

传统目检并非「不够努力」，而是受限于人眼分辨力与经验传递方式——管理手段只能缓解，无法根除。

2.1

缺陷尺度微小

电容 1～2 mm、针脚间距 < 1 mm，长时间目检超出人眼分辨边界。

微小缺陷漏检几乎无法避免

2.2

移动端成像不足

手机最近对焦 / 景深 / 分辨率不达标，细小电容失焦模糊，特征在成像阶段即丢失。

此前 AI 只能覆盖网卡，内存条「有模型但用不上」

2.3

判定依赖经验

「看着像有损」存在于老师傅头脑中，无法表述与传递；疲劳时尺度漂移，新人培养周期长。

同板不同人结论不同 → 质量争议

2.4

结果无法沉淀

「检完即过」，检测行为不产生结构化记录，无缺陷统计、不可回溯。

模型迭代缺乏数据燃料

共同指向：检测环节需要一个稳定成像、统一判定、结构化输出、可持续积累数据的自动化方案 —— 本系统正是针对这一需求设计。

02 Live Demo

交互式检测体验

切换配件类型，点击「开始检测」模拟 YOLO26 推理过程 —— 扫描、框选、输出置信度，并体验「识别有误」反馈闭环。

就绪点击「开始检测」运行推理

03 Core Technology

核心技术原理

检测内核在 YOLO 系列内做代际选型：相比上一代 YOLO11，YOLO26 的优势集中在小目标检测与部署轻量化两个方向。

3.1　技术选型：YOLO11 vs YOLO26

YOLO11 vs YOLO26 对比 — 图 3-1　技术选型对比：YOLO11 vs YOLO26

对比维度	YOLO11	YOLO26	对本系统的价值
小目标检测 ★	基于 IoU 的标签分配，小目标稍有偏移即跌破阈值，正样本分配不足	STAL 小目标感知标签分配，提升正样本覆盖度	核心选型依据：电容缺失、针脚弯折等亚毫米缺陷检出更稳
后处理	需 NMS，阈值需逐场景调优	NMS-Free，一对一检测头端到端输出	时延可控；GPU / CPU 迁移免参数适配
检测头结构	含 DFL，输出通道多、结构复杂	DFL-Free，结构更轻、回归范围不受限	纯 CPU 产线终端推理负担更低
CPU 推理速度	基准	YOLO26n ONNX 较 11n 提升最高 43%	无 GPU 终端识别更快（官方基准，非本场景实测）
训练配方	常规训练配方	ProgLoss + MuSGD	相同数据收敛更充分，小样本更充分利用每份标注

选型结论：两者同为单阶段实时检测框架，YOLO26 的 STAL 小目标能力直接对应本系统「细小缺陷检出」的核心诉求，NMS-Free、DFL-Free 与 CPU 提速则构成工程部署层面的增益。

3.2　YOLO26 的技术特性

特性	是什么	对本系统的价值
NMS-Free 推理	一对一检测头直接输出去重结果，免 NMS 后处理	时延可控、链路简洁；GPU / CPU 迁移不受阈值适配干扰
DFL-Free 回归	移除 DFL，检测头更简单，回归范围不受限	模型更轻量，纯 CPU 产线终端推理负担更低
STAL 小目标标签分配	改进正样本标签覆盖，破解小目标 IoU 对偏移敏感问题	核心选型依据：直接对应电容缺失、针脚弯折等微小缺陷检测
ProgLoss + MuSGD	渐进式损失 + SGD / Muon 混合优化器	相同数据收敛更优，小样本下更充分利用每份标注
CPU 推理优化	YOLO26n CPU ONNX 较 11n 提升最高 43%	无 GPU 终端可用（官方 COCO 基准，非本场景实测）
多任务统一架构	统一支持检测 / 分割 / 姿态 / OBB / 深度 / 分类	未来轮廓级损伤、旋转目标检测可换任务头平滑扩展

04 Model

模型实现方案

工业缺陷属长尾分布、样本采集标注成本高 —— 采用迁移学习微调 + 一配件一模型的落地路线。

为什么微调而非从零训练：官方权重已学到通用视觉特征（边缘 / 纹理 / 几何），微调仅需针对性适配本场景缺陷特征 → 小样本可用、迭代周期短。

一配件一模型部署方案

模型	权重文件	检测对象	上线状态
网卡检测模型	`best.pt`	网卡物损	已上线
内存条检测模型	`memory_best.pt`	内存条物损	已上线
CPU 检测模型	—	CPU 物损	规划中

推理基于 PyTorch 2.1，服务启动自动探测 CUDA：有 GPU 自动迁移、无 GPU 平滑回退 CPU，一套代码适配两类终端。

05 Features

核心功能模块

4.1

物损检测

基于 YOLO26 输出缺陷框坐标、缺陷类别、置信度三类结构化结果；一配件一模型，新配件模型即插即用扩展。

4.2

高清采集

工业相机直连（硬件触发拍摄）与本地图片上传两条通道，可混合使用；单配件最多 9 张，多角度采集降低视野盲区漏检风险。

4.3

缺陷识别与标注

标注图（边界框 + 类别 + 置信度）+ 缺陷列表，检测人员一屏看清全部结论。

4.4

记录沉淀与反馈闭环

每次检测自动写入 sw_asset_damage_log；「识别有误」标记与原始记录绑定后写入反馈库。

缺陷类型

缺陷类型	缺陷描述
电容缺失	贴片电容脱落或缺失
焊点异常	焊点虚焊、连锡、锡珠等异常
针脚弯折	连接器针脚变形、弯折
元件偏移	元器件贴装位置偏移超出公差

采集通道

采集通道	说明	适用场景
工业相机直连	硬件触发拍摄，图像自动传入系统；光学分辨率 / 对焦 / 景深满足毫米级成像	产线在线检测 —— 从源头解决手机拍不清细小电容的瓶颈
本地图片上传	手动上传图片参与识别	离线补录、历史图像复检

数据闭环

人工从「逐张判定」转为抽查纠偏 —— 误检 / 漏检样本恰是最有价值的困难样本（Hard Example），系统价值不随上线封顶。

06 Architecture

技术架构与技术栈

层级	技术选型	说明
检测模型	`YOLO26`（ultralytics）	网卡 `best.pt` + 内存 `memory_best.pt` 双模型并行，预训练权重微调
推理框架	`PyTorch 2.1`	启动时自动检测 CUDA，GPU 迁移 / CPU 回退自适应
Web 框架	`FastAPI` + `uvicorn`	异步高性能，原生 Pydantic 校验
图像处理	`OpenCV` / `NumPy` / `Pillow`	无 GUI 依赖，适合容器化部署
认证机制	`JWT`	python-jose + passlib/bcrypt，Bearer Token 鉴权
数据校验	`Pydantic v2`	请求 / 响应强类型校验
日志	`RotatingFileHandler`	按大小轮转，普通 / 错误分级分离
部署	`0.0.0.0:8000`	全网卡监听，CPU / GPU 环境自适应

架构设计要点

推理环境自适应

启动阶段完成 CUDA 探测与设备决策，运行期免人工干预。

无 GUI 依赖

全链路 headless 组件，可部署于无图形界面服务器。

鉴权与业务解耦

/auth/login 签发 JWT，业务接口统一 Bearer 鉴权，便于对接 MES 账号体系。

日志可运维

大小轮转 + 普通 / 错误分级，支撑问题定位与健康度观察。

07 Workflow

端到端业务流程

步骤	环节	处理内容
01	采集	工业相机触发拍摄或本地图片导入，单配件最多 9 张图像
02	提交	自动提交或手动触发「提交检测」，图像逐张进入识别流程
03	识别	YOLO26 推理，输出缺陷类别、置信度与标注图（超时阈值 30 秒）
04	落库	检测结果写入 `sw_asset_damage_log`，生成检测记录
05	反馈	检测人员标记「识别有误」，数据反哺模型持续优化

08 API

服务接口

方法	路径	接口说明
POST	`/auth/login`	登录获取 JWT，后续接口通过 Bearer Token 鉴权
GET	`/health`	健康检查与模型加载状态查询
POST	`/predict/image`	单张图片预测
POST	`/predict/batch`	批量图片预测
POST	`/predict/visualize`	单张图片预测并返回标注图
POST	`/predict/batch/visualize`	批量图片预测并返回标注图
POST	`/predict/file`	文件上传预测

接口设计：双轴正交拆分

输入方式：单张 / 批量

批量复检减少网络往返开销。

输出形式：纯结构化 / 带标注图

展示用带图，入库用纯数据。

09 Results

应用成效

> 95%

缺陷召回率

实际存在的缺陷中 95% 以上被检出

> 93%

精确率

系统报出的缺陷中 93% 以上为真实缺陷

130 ms

单次识别平均耗时

提交后几乎无需等待

秒级

单配件完整检测

≤ 9 张图，检测节拍不受识别环节制约

检测性能指标

检测模型	召回率（Recall）	精确率（Precision）	上线状态
网卡检测模型	> 95%	> 95%	已上线运行
内存条检测模型	> 95%	> 93%	已上线运行
CPU 检测模型	—	—	规划中

评估取向：召回率优先

情形	业务代价	系统取向
漏检（召回不足）	有损件放行 → 客诉、返工、质量事故	尽量避免
误检（精确不足）	无损件被标记 → 增加一次人工复核	可容忍

两者不可兼得时，宁可牺牲部分精确率也要保证漏检率处于低位 —— 与质检环节「宁可错杀、不可放过」的逻辑一致。

指标为自有数据集验证集上的评估结果；实际生产表现可能随成像条件、配件批次波动。

效率改善的核心不在「单次更快」：检测环节不再占用熟练质检员人力，吞吐量不受排班与疲劳度影响；识别结果同步结构化落库，无需人工二次录入。

10 Innovation

系统特点与创新性

8.1

成像能力升级

工业相机从采集源头解决毫米级元件清晰度，AI 检测从网卡扩展至内存条。

识别能力边界本质上受限于输入信息质量

8.2

YOLO26 小目标内核

STAL 针对性改善电容缺失、针脚弯折等微小缺陷；NMS-Free + DFL 移除使部署更轻量。

8.3

迁移学习路线

预训练权重微调突破工业小样本约束，缩短迭代周期。

闭环低成本运转

8.4

一配件一模型

训练数据聚焦单一配件缺陷分布，新配件即插即用接入。

扩展路径清晰

8.5

环境自适应部署

启动自动探测 CUDA，GPU 迁移 / CPU 回退。

一套代码适配产线与普通终端

8.6

数据闭环迭代

检测落库 + 「识别有误」反馈，误检漏检样本回流。

系统价值不随上线封顶

8.7

标准化接口

RESTful + JWT，输入 / 输出正交拆分。

便于与 MES 等上游系统对接