端侧 AI 与机器人技术雷达|2026-07-17

今日必看

Harness VLA 把机器人模型部署从“继续微调”推向可重试的任务外壳

Harness VLA 的 arXiv 页面显示,论文 2026 年 7 月 9 日提交、7 月 15 日修订到 v3;它把冻结的 VLA 当作接触丰富的局部操作原语,再用记忆增强的 agentic framework 和固定解析原语处理语义重绑定、场景变化、运输、导航、释放和失败恢复。论文报告 Harness VLA 在 LIBERO-Pro 和 RoboCasa365 上较强基线分别提升 38.6 和 25.4 个百分点,并在 RoboTwin C2R 达到 58.4%。证据阶段仍是论文和基准,不是真机第三方复现,也未看到可运行代码仓库。

这条动态的关键不在又提出一个新 VLA,而在它改变了部署假设:如果冻结模型可以通过“可重试外壳 + 执行记忆 + 失败模型”扩展出分布外能力,机器人团队未必每次都要把新场景压回模型微调流程。一个可辩论判断是,未来 1 到 2 个季度 VLA 工程竞争会从“模型本体参数更强”分出一条“模型外控制面更强”的路线;端侧主控和机器人运行时需要支持的不只是推理,还包括轨迹记忆、失败归因、局部重试和跨原语编排。反例也明确:如果 Harness VLA 不能开源或第三方无法在真实机械臂上复现其失败恢复收益,这一路线会退回论文技巧,而不会改变 Jetson、x86+GPU、地平线 BPU 或国产边缘 SoC 的选型逻辑。主来源

这对端侧平台的含义比较具体。机器人控制面如果要承接这类外壳,不只要把 VLA 跑起来,还要记录每次失败前后的图像、动作、原语选择、恢复动作和耗时;否则失败模型无法沉淀,重试策略也无法被验证。另一个非共识判断是,短期内这类方法可能先提高“旧模型、旧硬件”的可用性,而不是立刻催生更大的机器人基础模型,因为它把一部分泛化能力放在运行时记忆和任务编排层。验证指标不是论文表格继续上涨,而是第三方是否能在不同机械臂、不同相机布置和不同边缘计算平台上复现失败恢复收益,并报告每个任务的额外延迟与人工介入次数。

软件 / 框架

  • llama.cpp b10052:7 月 16 日发布的 b10052 集中重做 Hexagon/HVX 路径的 L2 cache dirty bit、lazy flushing、DMA queue、work queue 和 MUL_MAT 多 chunk 鲁棒性,并继续提供 Android arm64、Windows OpenCL Adreno arm64、Vulkan、OpenVINO 2026.2.1、CUDA 13.3 与 iOS XCFramework 包。判断上,这类更新说明本地推理竞争正在进入 DSP/移动 GPU 后端的缓存一致性和队列调度细节;局限是 release 没给出端侧延迟、功耗或 QNN/RKNN 等对照数据。主来源

  • vLLM v0.25.1:7 月 14 日补丁版修复 TorchCodec 缺少系统 FFmpeg 时阻塞模型启动的问题,并为 FlashInfer allreduce、RMSNorm 与静态量化融合增加 dtype 匹配保护,避免 Gemma/Qwen 风格 mixed dtype RMSNorm 在 NVFP4 路径产生错误输出。它不是端侧 runtime,但提示多模态模型服务的可靠性越来越取决于“失败延迟暴露”和“量化融合安全边界”,这些问题会继续向边缘网关和本地 Agent 迁移。主来源

算法 / 论文

  • Temporal Ratio:7 月 9 日论文提出用 Temporal Ratio 衡量 Video/World-Action Model 的动作头对未来 latent rollout 与当前帧的依赖,并用推理期自适应 guidance 缓解 video-action generalization gap。它的价值在于把 VAM/WAM 的泛化问题从“多训练一些机器人数据”转向可观测的注意力结构;后续要看是否有开源实现和真实机器人复测。主来源

  • Onboard VLM 多 Agent 控制:7 月 8 日论文把 3B 到 20B 参数级 VLM 组成车载多 Agent 架构,在 AMD Ryzen AI mini PC 的硬件在环仿真中覆盖工业仓储移动操作任务,并称仿真环境以 Apache 2.0 开源。它说明本地多 Agent 机器人路线不必等最大 VLA,但目前证据仍是仿真和论文,离客户试点还有距离。主来源

持续观察

  • 验证信号:重点看 Harness VLA 是否发布代码、执行 trace 和失败模型定义;如果第三方能在 LIBERO、RoboCasa、RoboTwin 之外复现同类提升,并披露每次重试的延迟、成功率和失败分布,“模型外控制面”路线的可信度会上升。参考来源

  • 工程分叉llama.cpp b10052 的 Hexagon 更新和 vLLM v0.25.1 的量化融合修复指向同一件事:端侧和边缘 AI 的稳定性会越来越由底层后端细节决定,而不是只由模型名称决定。若后续 release 开始同时报告端侧芯片型号、精度、内存、功耗和失败 case,软件栈会更快进入硬件选型表。参考来源

  • 反例条件:如果接下来一个月的新 VLA 论文仍主要报告离线成功率,而很少披露运行时重试、轨迹记忆、算力占用和控制频率,说明“模型外控制面”还没有成为共同评测对象。届时端侧厂商的近期机会仍在更稳的推理后端、量化格式和开发板交付,而不是直接进入机器人策略编排层。

评论