mmMind模型：毫米波雷达结合大语言模型实现人体行为理解
arXiv近期论文提出mmMind雷达-语言模型，利用同步三维姿态数据作为训练监督信号，驱动时空雷达编码器学习人体构型与运动动态，推理时仅需雷达输入。模型可生成行为描述并回答时空类问题。配套发布的mmMind-Bench基准涵盖23位参与者在7种室内环境下录制的17.9小时真实数据，实验显示其在多项任务上优于现有雷达-语言基线。
毫米波雷达因其隐私友好、非接触的特性，被视为感知人体行为的重要传感器之一。然而，雷达信号与自然语言之间存在显著的语义鸿沟，现有雷达-语言方法多依赖合成数据或缺乏对人体结构与运动的显式监督。
针对这一问题，arXiv上提出的一项研究给出了名为mmMind的雷达-语言模型方案。其核心思路是利用同步采集的三维姿态数据作为训练阶段的监督信号，驱动时空雷达编码器学习人体构型与运动动态；训练完成后，姿态解码头被移除，推理阶段只需雷达回波即可完成分析，从而具备较强的部署灵活性。
在表征学习基础上，研究团队将雷达特征与大语言模型对齐，使系统能够针对雷达观测自动生成行为描述文本，并回答涉及行为主体、时间、空间等维度的提问。为支撑评估工作，论文同步发布mmMind-Bench基准数据集，涵盖23位参与者在7种室内环境下采集的17.9小时真实雷达-语言数据。
实验结果表明，mmMind在行为描述生成、时空问答以及未见动作的泛化测试中均稳定优于现有基线方法，消融实验进一步验证了姿态引导预训练对最终性能的关键贡献。
【空音视角】 从WiFi感知与非接触监测行业视角看，mmMind所采用的"训练时多模态、推理时单模态"范式，对所有隐私敏感的室内感知场景均有借鉴意义。该工作将毫米波雷达与语言模型对齐，标志着雷达感知正从传统的事件检测迈向可解释的行为理解。空音在非接触生命体征监测方向的探索，与此类向语义层建模演进的趋势具有技术共鸣——让感知结果具备更丰富的语义可读性，将是行业下一阶段的重要方向。
—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源：arXiv 计算机视觉 原文链接：https://arxiv.org/abs/2608.04127
来源：arXiv 计算机视觉（查看原文）