RF-HOI:基于多模态射频信号的人体-物体交互识别框架
arXiv 人机交互方向的一项研究提出 RF-HOI 框架,首次仅依靠射频信号完成人体-物体交互识别。该方案融合毫米波雷达与 RFID 两种射频模态,分别承担动作识别与目标物体辨识,并通过自研模拟器合成多模态射频数据进行模型训练。实验显示 RF-HOI 超越现有基线方法,性能接近视觉模型,同时验证合成数据对真实场景表现的显著增益。
人体与物体的交互识别是虚拟现实、增强现实、具身智能以及辅助机器人等领域的关键基础能力。长期以来,主流方案依赖视觉传感器,但在用户隐私保护以及弱光、遮挡等环境适应性方面存在明显局限。近日发表于 arXiv 人机交互栏目的 RF-HOI 研究,提出了一种仅依靠射频信号即可完成人体-物体交互识别任务的端到端框架,作者称这是该方向首个此类方案。
该工作的关键创新在于引入多模态射频融合策略。研究团队将毫米波雷达与 RFID 两种射频感知手段相结合,前者用于刻画动作时序特征,后者用于辨识被交互的目标物体,从而弥补了单一射频模态难以同时兼顾动作与对象描述的不足。
针对真实训练样本采集成本高、跨场景泛化能力受限的难题,研究者还构建了一套多模态射频数据合成模拟器,可在多种人体-物体交互配置下批量产出训练数据,并以少量真实样本对模型进行微调。实验结果表明,RF-HOI 在多个基准上超越现有对比方法,综合表现接近视觉模型,并证实合成数据对真实场景识别效果具有显著增益。
【空音视角】 从该研究可以看出,以射频信号替代视觉进行行为与环境感知,正成为感知计算方向的一条清晰路径。射频感知在隐私友好性、全天候工作和穿透性上的天然优势,与空音在非接触式睡眠呼吸监测、跌倒检测等场景中的技术诉求高度一致。文章采用毫米波雷达与 RFID 多模态融合的思路,以及通过合成数据缓解真实样本稀缺的训练策略,对 WiFi/射频感知在数据匮乏场景下的模型构建具有参考价值,也提示我们持续关注多频段、多模态融合在下一代非接触感知系统中的潜力。
—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源：arXiv 人机交互 原文链接：https://arxiv.org/abs/2608.00289
来源：arXiv 人机交互（查看原文）