Skip to content

审核流程

适用角色:审核员 / 项目管理员

审核工作台

进入「审核」入口后,系统按队列分配一条「待审核」任务:

  • 左侧:任务列表(待审 / 已通过 / 已退回)
  • 中间:当前任务的 Stage,图片任务显示画布,视频任务显示时间轴和轨迹
  • 右侧:属性、AI 候选、评论与标注详情

审核工作台

审核工作台与标注工作台共用同一个外壳。审核模式只替换顶部操作、横幅、任务锁、通过 / 退回流程和 diff 视图,不复制一套独立页面。因此图片、视频和未来 Stage 的查看方式会同步进入审核入口。

审核操作

操作含义后果
通过标注合格任务进入 completed
退回需要修改,必须选「原因类型」(可附自由备注)任务回到原标注员,状态变 rejected
修改后通过你直接改正小问题,标注员收到通知completed,但标注员能看到你的改动

退回原因类型(v0.10.16 起)

退回时必须从以下 4 类中选一项(结构化枚举,便于后续 reject 率统计 → super_admin 离线分析):

类型中文 label适用场景
missing漏标应该标的目标没标到
extra多标标了不该标的(噪声框 / 误标)
wrong_label类别错误几何形状对,类别选错
wrong_geometry位置或尺寸不准类别对,框位置 / 大小 / 形状不准

旁边的「补充说明」是可选自由文本,建议写清楚具体目标 / 帧号,例如 trk_person_01 frame 128: 车辆消失后仍有插值框

退回反馈表单

IoU 阈值

如果项目配置了基准答案(gold standard),会自动计算 IoU:

  • IoU ≥ 0.8 — 优秀
  • IoU ∈ [0.7, 0.8) — 合格
  • IoU < 0.7 — 不合格,建议退回

视频任务审核

视频任务会在审核工作台切到视频时间轴视图。审核时重点看:

  • 轨迹列表里的类别和 track_id 是否能对应同一个对象。
  • 第 1 帧、中间帧、最后一帧等关键位置的 bbox 是否贴合目标。
  • 两个关键帧之间的虚线插值框是否发生明显漂移。
  • 目标消失段是否标记了「消失」,避免插值框穿过不存在的对象。
  • 被遮挡目标是否标记了「遮挡」,且框体仍覆盖可判断的目标区域。

退回视频任务时,建议在原因里写清楚 track_id + frame_index,例如:

text
trk_person_01 frame 128: 车辆消失后仍有插值框,请标记为消失。

这样标注员重做时可以直接定位到问题轨迹和帧。

双审策略

如果项目设置「双审」,需 2 名独立审核员一致才能通过:

  • 两人都通过 → completed
  • 两人都退回 → rejected
  • 一人通过、一人退回 → 升级到项目管理员仲裁

审核员绩效

「审核员」页面显示:审核数量、平均耗时、与同行一致率(用于校准评判尺度)。

Released under the MIT License.