HandWashDataset · frozen recording-group-disjoint test set

测试集滑动窗口分析:49 个视频完整列表

每张卡都是一个独立测试视频。视频本体已烧录每个保留滑动窗口的预测标签、置信度、七类概率条、窗口时间范围与窗口时间线;本页没有分页、筛选或隐藏项目。

数据集与验证集

  • 来源域:Interface、PSKUS。六类预训练使用 train:9,355 个滑窗 / 1,681 个标注动作段 / 541 个原视频;来源域验证使用 validation:367 个滑窗 / 115 个标注动作段 / 73 个原视频。来源域验证只监控预训练阶段,不参与 HandWash 七类模型选择。
  • HandWashDataset 训练集:2,817 个滑窗 / 197 个训练动作视频 / 197 个原视频。包含录制组 006, 007, 008, 009, 010, 011, 012, 013, 014, 018, 019, 020, 021, 022, 023, 024, 025,地点为 CeramicSink1、CeramicSink2、LightSteelSink1、SmallCeramicSink6。
  • HandWash 验证集:517 个滑窗 / 36 个验证动作视频 / 36 个原视频。包含录制组 015, 016, 017,地点为 LightGraniteSink1;它是七类微调的唯一 checkpoint 选择集。
  • HandWash 冻结测试集:587 个滑窗 / 49 个测试动作视频 / 49 个原视频。包含录制组 001, 002, 003, 004, 005,地点为 DarkSteelSink1;它不参与预训练、微调或 checkpoint 选择,只在训练结束后推理一次。
  • 注:录制组是按原始文件名及地点做的隔离单位,并不把录制编号解释为已经确认的受试者身份。

数据处理与隔离

  • 只从原始 MP4 与原始标注重建;在骨架提取和滑动窗口之前,对每个原视频计算 SHA-256 并隔离完全相同的视频。
  • 所有骨架、片段和窗口继承父视频 SHA-256;源域 train/validation 在 SHA 上分离,HandWash train/validation/test 在 SHA 与录制组上分离。
  • 骨架:10 FPS、42 个 MediaPipe Hands 关键点;每帧输入为归一化 x/y 坐标与可见性,共 3 个通道。
  • 滑窗:32 帧(3.2 s)、步长 8 帧(0.8 s),不做随机时间裁剪、重采样或短片段补齐;源域窗口最低单手可见率 0.70,HandWash 保留阈值为 0.00。
  • 正式窗口:源域训练 9355、源域验证 367、HandWash 训练 2817、验证 517、冻结测试 587。

网络结构

  • HandSTGCNPlusPlus(手部 ST-GCN++):输入张量为 N × 3 × 32 × 42。42 个节点为左右手各 21 个关键点,采用手内骨架边与 5 条跨手连接。
  • 5 个自适应图卷积 + 多尺度时序卷积残差块,通道依次为 32 → 32 → 64 → 64 → 128;时序分支使用 dilation 1/2/3 与池化分支。
  • 分类头:自适应全局平均池化、Dropout(0.25)、Linear(128→7),输出 Step_1--Step_7。

正式训练与模型

  • 阶段一:源域六类预训练,9355 个训练窗口、367 个验证窗口;AdamW,batch 32,学习率 0.002,最多 80 轮,早停耐心 20。最佳第 11 轮。
  • 阶段二:七类 HandWash 微调。每个 batch 精确包含 16 条源域窗口和 16 条 HandWash 训练窗口;预训练的前六类分类行与主干复制,第七类分类行独立初始化。
  • 微调:每轮 381 个 batch,学习率 0.0002,最多 60 轮,早停耐心 15;只用 HandWash 验证视频的 Macro-F1 选择 checkpoint,最佳第 2 轮。
  • 最终七类模型:可训练参数 80,679;BatchNorm 等非训练缓冲区 4,253;本次冻结测试 checkpoint 为第 2 轮,SHA-256 前 16 位:1c1e9cd354f34eda。
测试视频49 个
保留测试滑窗587 个
视频级 Accuracy / Macro-F189.80% / 85.09%
窗口级 Accuracy / Macro-F187.56% / 82.09%

显示语义:模型在每个保留窗口的起点产生一次结果(32 帧 = 3.2 s,起点通常每 0.8 s)。画面显示的是“最新起点的完整 3.2 秒窗口”结果,而非逐帧预测;它会保持到下一个保留窗口起点,未进行平滑或投票。

Step_1

3 个测试视频
录制组 002

HandWash_002_A_01_G01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_1
视频聚合预测
Step_1 · 76.63%
保留滑窗
12 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_01_G01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_1
视频聚合预测
Step_1 · 70.65%
保留滑窗
20 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_01_G01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_1
视频聚合预测
Step_1 · 73.13%
保留滑窗
23 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_2

10 个测试视频
录制组 001

HandWash_001_A_02_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 85.50%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 001

HandWash_001_A_03_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 66.43%
保留滑窗
9 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_02_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 93.80%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_03_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 84.33%
保留滑窗
17 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_02_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 99.99%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_03_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 99.48%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_02_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 99.88%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_03_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 89.58%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_02_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 99.99%
保留滑窗
17 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_03_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_2
视频聚合预测
Step_2 · 99.26%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_3

4 个测试视频
录制组 001

HandWash_001_A_04_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_3
视频聚合预测
Step_3 · 82.94%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_04_G_01

视频聚合结果错误
数据范围
冻结测试
真实步骤
Step_3
视频聚合预测
Step_1 · 57.73%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_04_G_01

视频聚合结果错误
数据范围
冻结测试
真实步骤
Step_3
视频聚合预测
Step_1 · 71.29%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_04_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_3
视频聚合预测
Step_3 · 51.04%
保留滑窗
17 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_4

10 个测试视频
录制组 001

HandWash_001_A_05_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.71%
保留滑窗
15 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 001

HandWash_001_A_06_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.63%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_05_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.80%
保留滑窗
12 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_06_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.97%
保留滑窗
12 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_05_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.82%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_06_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.82%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_05_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.94%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_06_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.95%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_05_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.86%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_06_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_4
视频聚合预测
Step_4 · 99.99%
保留滑窗
17 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_5

8 个测试视频
录制组 001

HandWash_001_A_07_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 97.45%
保留滑窗
12 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 001

HandWash_001_A_08_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 72.19%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_07_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 97.80%
保留滑窗
9 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_08_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 83.48%
保留滑窗
9 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_07_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 99.24%
保留滑窗
8 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_08_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 96.48%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_08_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 94.60%
保留滑窗
8 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_08_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_5
视频聚合预测
Step_5 · 89.29%
保留滑窗
5 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_6

10 个测试视频
录制组 001

HandWash_001_A_09_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 98.78%
保留滑窗
9 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 001

HandWash_001_A_10_G_01

视频聚合结果错误
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_3 · 35.61%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_09_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 97.28%
保留滑窗
9 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_10_G_01

视频聚合结果错误
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_5 · 26.45%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_09_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 99.84%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 003

HandWash_003_A_10_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 99.77%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_09_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 99.37%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_10_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 99.73%
保留滑窗
5 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_09_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 92.99%
保留滑窗
14 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 005

HandWash_005_A_10_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_6
视频聚合预测
Step_6 · 99.90%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_7

4 个测试视频
录制组 001

HandWash_001_A_11_G_01

视频聚合结果错误
数据范围
冻结测试
真实步骤
Step_7
视频聚合预测
Step_5 · 55.31%
保留滑窗
3 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 001

HandWash_001_A_12_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_7
视频聚合预测
Step_7 · 47.73%
保留滑窗
6 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 002

HandWash_002_A_11_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_7
视频聚合预测
Step_7 · 58.80%
保留滑窗
8 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s
录制组 004

HandWash_004_A_11_G_01

视频聚合结果正确
数据范围
冻结测试
真实步骤
Step_7
视频聚合预测
Step_7 · 68.78%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

External inference · separate from frozen test

外部样本滑动窗口分析:7 个视频

视频级 Accuracy / Macro-F185.71% / 80.95%

这些视频只用于本次外部推理,未写入任何训练、验证或冻结测试清单;页面将文件夹编号 1--7 解释为 Step_1--Step_7,所显示的准确率以该解释为前提,不计入上方 49 段冻结测试指标。

Step_1

1 个外部视频
外部推理 · 文件夹编号作为真值

external_01_1-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_1
视频聚合预测
Step_1 · 81.13%
保留滑窗
3 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_2

1 个外部视频
外部推理 · 文件夹编号作为真值

external_02_2-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_2
视频聚合预测
Step_2 · 63.03%
保留滑窗
7 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_3

1 个外部视频
外部推理 · 文件夹编号作为真值

external_03_3-1

视频聚合结果错误
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_3
视频聚合预测
Step_5 · 56.68%
保留滑窗
6 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_4

1 个外部视频
外部推理 · 文件夹编号作为真值

external_04_4-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_4
视频聚合预测
Step_4 · 60.41%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_5

1 个外部视频
外部推理 · 文件夹编号作为真值

external_05_5-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_5
视频聚合预测
Step_5 · 95.05%
保留滑窗
5 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_6

1 个外部视频
外部推理 · 文件夹编号作为真值

external_06_6-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_6
视频聚合预测
Step_6 · 99.70%
保留滑窗
11 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s

Step_7

1 个外部视频
外部推理 · 文件夹编号作为真值

external_07_7-1

视频聚合结果正确
数据范围
外部样本(不计入冻结测试统计)
真实步骤
Step_7
视频聚合预测
Step_7 · 38.88%
保留滑窗
12 个
滑窗规则
32 帧 / 3.2 s,起点步长 0.8 s