软时间对齐蒸馏提升毫米波雷达人体活动识别

毫米波雷达无需采集可见光图像，在人体活动识别中具备隐私保护潜力，但稀疏点云难以充分表达人体结构与运动。为此，研究构建跨模态知识蒸馏框架：教师模型从摄像头二维人体关键点中学习上下文状态，学生模型则直接处理雷达点云。学生模型结合点集编码、双向时序建模、分段聚合与轻量共享潜通道缩放，形成蒸馏所需的特征表示。

由于教师保留每个时间步的上下文状态，而学生将整段雷达序列归纳为少量分段，固定时间戳对应无法直接支持特征迁移。为此，研究设计软时间对齐蒸馏：每个学生分段依据自身表示，自适应检索并聚合相关教师时序证据，形成蒸馏目标。此处的“对齐”是以学生表示为条件的表示空间匹配，而非按时间顺序进行单调配准。

在多模态非侵入式四维人体数据集上，仅用雷达的学生模型平均准确率由87.04%提升至89.17%，在所评估的既有及近期蒸馏基线中取得最高平均准确率；在多数点云或帧丢失设置下，其平均准确率和宏平均类别平衡得分也高于未蒸馏学生。在独立采集的毫米波办公室人体活动识别数据集上，准确率由80.33%提升至87.75%。完成训练后可移除教师模型与对齐分支，后续推理无需摄像头或额外感知、计算分支。

【空音视角】 该研究说明，毫米波识别面临的问题不仅涉及点云稀疏，也涉及如何把视觉时序知识迁移到不规则、稀疏的雷达表示。分段自适应对齐为提升独立雷达模型的识别能力提供了新的训练思路，同时训练后移除视觉依赖，兼顾了效果与隐私保护。对空音关注的无线感知和非接触监测方向而言，这一思路的可借鉴之处在于将其他模态的知识用于训练，而部署阶段仍由目标传感器独立完成感知与判断。

—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源：arXiv 信号处理 原文链接：https://arxiv.org/abs/2610.36637