高枝个人博客 土木读研 · 计算机 × 土木的交叉笔记
返回列表

语义分割入门:用 U-Net 从复杂地质场景里抠出有效信息

分类回答「图里有什么」,检测回答「目标在哪」,分割回答「每个像素是什么」。以地质场景为例,把 U-Net 的训练流程从头到尾走一遍。

拿到一张无人机航拍的采场边坡照片,你想知道的往往是具体几件事:岩层界线在哪、破碎带范围多大、台阶坡面有没有浮石。这不是"图里有什么"的分类问题,而是每个像素属于什么的分割问题。

这篇是语义分割的工程向入门:以地质场景为例,把 U-Net 的训练流程从头到尾走一遍。

先分清三个任务

任务 输出 工程类比
图像分类 整张图一个标签 "这张照片是砂岩"
目标检测 若干矩形框 + 类别 "这里有一块孤石"
语义分割 每个像素一个类别 "这 3 万像素是岩层、那 8 千是覆盖土"

地质场景大多需要分割:结构面、岩性界线、风化区分界,本质上都是不规则边界的区域,矩形框表达不了。

U-Net:为什么是它

2015 年为医学图像而生,结构却意外契合地质图像——都是"背景大面积、目标细小、边界重要"。

text
输入图像 ──▶ [编码器: 下采样 4 次] ──▶ 瓶颈特征
                                  │
              跳跃连接 ◀──────────┤
                 │                │
输入分辨率 ◀── [解码器: 上采样 4 次, 拼接对应层特征]
                 │
              逐像素类别图

编码器负责"看大局"(上下文),解码器负责"抠细节"(边界)。跳跃连接把浅层的高分辨率特征直接引到深层,细线状目标的边缘才能保得住——这正是裂隙、岩层界线这类目标最需要的性质。

数据:比网络更重要的那一半

标注工具:labelme 画多边形,导出为 mask 图(每个像素值 = 类别编号)。建议:

  • 类别宁少勿多:3–5 个类(岩层、结构面、覆盖层、阴影)比 15 个类训练稳得多
  • 阴影必须单设一类,不能并入背景——露天场景阴影面积能占 30%,不分出来网络会学糊涂
  • 类别不平衡用损失函数对付,不要用"多标背景"这种偷懒方式
python
# 一个实际好用的组合:交叉熵 + Dice,兼顾像素精度与区域重叠
import segmentation_models_pytorch as smp

loss = smp.losses.DiceLoss(mode='multiclass') \
     + smp.losses.SoftCrossEntropyLoss(smooth_factor=0.1)

训练与评价的坑

地质分割最常踩的三个坑:

1. 随机划分训练/测试集。同一场景相邻两张照片几乎一样,随机划分会造成"测试集泄漏"——模型等于提前看过答案。正确做法:按样地/航带划分,测试集是模型从没见过的场景。

2. 只看像素准确率。类别不平衡下,全预测成背景也有 95% 准确率。要看:

  • IoU(交并比):每个类单独算
  • Dice 系数:与 IoU 同源,对细目标更敏感
  • 边界 F1:地质界线偏移 2 米在工程上可能是重大偏差

3. 不做后处理就上结论。分割输出的 mask 通常带噪点和小碎块,工程输出前至少要:

python
# OpenCV 形态学清理
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
clean = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel)    # 去小噪点
num, labels, stats, _ = cv2.connectedComponentsWithStats(clean)
# 面积小于阈值的连通域直接丢弃
min_area = 200
result = np.zeros_like(clean)
for i in range(1, num):
    if stats[i, cv2.CC_STAT_AREA] >= min_area:
        result[labels == i] = 1

落地:从像素到工程量

分割只是中间产物,工程要的是:

  • 像素 → 实际坐标:无人机照片用 POS 数据做正射校正,地面照片用标定尺换算比例
  • 区域 → 工程量:岩层面积占比、破碎带宽度、台阶完整性
  • 结果 → 规范表达:符合地质编录格式的统计表,而不只是彩色效果图

这个"最后一公里"决定了课题是发在算法会议还是工程期刊——对土木背景的学生,后者往往是更顺的路。

资源清单

  • 数据标注:labelme(轻量)、CVAT(协作)
  • 训练框架:PyTorch + segmentation_models_pytorch(一行换 10 种网络对比)
  • 增强:albumentations(专门为分割设计的增强库)
  • 可视化:预测结果与原图叠加半透明色,人工抽查 10% 是底线