毫米波雷达结合视觉语言模型实现空中手写识别
围绕射频信号的空中手写识别是人机交互领域的研究方向之一，但现有方案普遍受限于预设书写平面、固定书写风格以及较小词表。本文提出 mmPencil 三维空中手写字词识别系统，通过桥接毫米波雷达感知与大型视觉语言模型，从毫米波信号中重建三维手写轨迹并映射为视觉表征供模型识别。该系统在 12 名用户、200 个词类、22 种书写场景的数据集上，对已见用户词类识别准确率达 97.60%，对未见用户 50 个词类的零样本准确率为 92.50%。
传统基于射频信号的人机交互方案在空中手写识别任务上仍面临诸多约束，包括要求用户遵循预设书写平面、书写风格较为固定，以及可识别词表规模有限等问题。为突破这些限制，研究团队提出一种连接毫米波雷达感知与大型视觉语言模型的模态映射架构，并据此开发了名为 mmPencil 的三维空中手写字词识别系统。
该系统首先利用多阶段空间轨迹重建算法从毫米波信号中还原三维手写轨迹，再通过空间到视觉映射算法将其转换为图像形式的视觉表征。如此一来，视觉语言模型能够以接近处理普通图像的方式完成字符识别，从而降低系统对书写风格的敏感性，并减弱环境因素带来的干扰。
研究团队同时发布了一个三维毫米波手写数据集，包含 12 名用户在不同书写场景下采集的 200 个词类、共计 7664 个样本。实验结果显示，mmPencil 在书写位置、距离、角度、速度、大小、方向以及用户身体移动等多种变化条件下，仍能保持稳健的字词识别能力。其在已见用户的 200 个词类上达到 97.60% 的识别准确率，在未见用户的 50 个词类上零样本准确率为 92.50%，优于现有对比方法。
【空音视角】 从射频感知视角看，mmPencil 的核心思路与 WiFi/毫米波感知领域正在出现的趋势相一致：把物理层感知结果映射到图像、文本等成熟模态，借助大模型的跨域能力提升识别鲁棒性。对于非接触生命体征监测而言，将人体反射信号转化为可解释的视觉或语义表征，同样是降低场景依赖、提升泛化能力的一条可行路径，值得持续关注。
—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源：arXiv 人机交互 原文链接：https://arxiv.org/abs/2610.23419
来源：arXiv 人机交互（查看原文）