RaStream:面向边缘部署的毫米波雷达流式人体网格恢复框架
arXiv 最新工作 RaStream 提出一种面向边缘部署的毫米波雷达流式人体网格恢复框架。该方法通过雷达感知空间结构编码器与双状态时序细化模块,将缓慢变化的体型与快速运动动态分别建模,避免全体积缓冲。实验在 M4Human 上进行:RaSS-Base 将单窗口平均顶点误差(MVE)由 90.90 毫米降至 84.27 毫米;RaStream 在随机划分协议下进一步降至 72.05 毫米,并在 Jetson Orin Nano 测得约 26.93 毫秒的 FP32 推理延迟。
毫米波雷达因隐私友好与环境鲁棒特性,被视为边缘人体感知的潜力方向,但稀疏回波也使密集网格恢复长期承压。来自 arXiv 的最新工作 RaStream 给出了一种面向边缘部署的流式方案。
方法上,RaStream 由两个模块构成。雷达感知空间结构(RaSS)编码器保留三维雷达结构、对目标进行定位,从短窗口中提取以身体为中心的特征并生成紧凑的雷达感知 token;双状态时序模块将缓慢变化的体型状态与快速运动动态分离,体型侧通过 token 条件更新门累积形态与性别证据,运动侧由因果循环状态跟踪动态位移。整个模型保持固定大小的流式记忆,无需对完整雷达体做缓存。
作者在 M4Human 数据集上评估了重构精度、时序平滑度与边缘效率。RaSS-Base 以更少参数将单窗口平均顶点误差由 RT-Mesh 的 90.90 毫米降至 84.27 毫米;RaStream 端到端在随机划分协议下进一步降至 72.05 毫米,并在 Jetson Orin Nano 上测得约 26.93 毫秒的 FP32 推理延迟。文章同时形式化了一组时间采样参数 (T_w, T, s),用以刻画雷达观测密度、有限展开时域与输出频率之间的权衡。
【空音视角】 RaStream 的双状态时序建模思路值得关注——将缓慢变化的体型与快速运动解耦,与生命体征监测中"稳态基线叠加瞬时事件"的分层需求有共通之处。文中在 Jetson Orin Nano 上 26 毫秒级的推理延迟,已经接近实时边缘监测所需的量级。毫米波雷达与 WiFi 感知同属非接触、隐私友好型传感,二者面临的"稀疏观测+边缘算力"约束高度一致;本文在空间编码器与因果时序结构上的工程取舍,对非接触行为与生命体征感知的边缘落地具有参考价值。
—— 本文基于公开报道由空音编辑部 AI 辅助改写 来源:arXiv 信号处理 原文链接:https://arxiv.org/abs/2608.11791
来源:arXiv 信号处理(查看原文)