今日必看
FlashRT 把 VLA 部署竞争推到小批量实时推理层
FlashRT 是今天最值得补进雷达的新项目。仓库元数据显示它是 Apache-2.0 许可的 C++ 项目，7 月 17 日仍有活跃更新；README 将它定位为面向小 batch、低延迟 AI 负载的实时推理引擎，核心路线不是 ONNX 导出或 TensorRT 式 engine 编译，而是用手写 CUDA kernel、静态 CUDA Graph、FP8/NVFP4 校准和模型前端，把 Pi0、Pi0.5、GR00T N1.6/N1.7、Pi0-FAST 以及 Qwen3.6-27B 这类负载组织成可复用静态图。主来源
这条动态的新增量在于，它不是又一个机器人模型仓库，而是把 VLA 控制从“模型能不能跑”推进到“机器人控制频率能否稳定达标”。项目文档报告 Jetson AGX Thor 上 Pi0.5 两视角 LIBERO Spatial 为 492/500=98.4%，端到端延迟 44.0 ms，并列出同场景 NVIDIA TensorRT baseline 为 91-95 ms；同一仓库还给出 GR00T N1.7 DiT path 在 Jetson AGX Thor 49 ms、RTX 5090 22 ms的项目侧数字。证据阶段是代码、文档和项目 benchmark，不是第三方量产部署。
一个可辩论判断是，机器人端侧软件栈会从“模型仓库 + 通用推理框架”分出一层专门的实时控制 runtime。原因很直接：VLA、WAM、语音和本地 LLM 的共同瓶颈不是 batch 吞吐，而是小 batch、固定延迟、相机多视角、动作 horizon 和失败恢复都要可预测。若 FlashRT 这类项目的数字能被复现，Jetson Thor/Orin、RTX 5090、未来国产边缘 GPU 或 BPU 的选型表会开始要求“控制闭环实测延迟”，而不只是 TOPS、显存和模型兼容表。
反例同样明确。当前 benchmark 主要来自项目自身，且 NVIDIA 后端最完整；如果第三方无法在真实机械臂上复现 20-50 Hz 级闭环，或非 NVIDIA 平台没有可维护 backend，这条路线会退回“高性能 demo runtime”。后续验证指标应看三类信号：第三方 Jetson Thor/Orin 复测；真实机器人任务中每步推理、相机预处理、控制发送和重试的分项延迟；以及 RKNN、QNN、OpenVINO、BPU 等后端是否出现同等级插件或移植。
这也给端侧厂商一个更苛刻的产品化门槛：仅提供模型转换工具已经不够，客户会要求同一套任务在不同相机数、动作 horizon、精度格式和温控状态下保持稳定控制频率。谁能把这些指标变成 SDK 的默认报告项，谁才更接近机器人量产链路。
软件 / 框架
llama.cpp b10066：7 月 17 日发布的 b10066 在 b10052 之后增加 14 个提交，重点是 OpenCL/Adreno 路径，包括 q4_K/q5_K flat mv 读数优化、MoE dp4a activation tile 的 128-bit 本地内存读写、
kernel_gemm_moe_q6_k_f32_ns装载，以及 DeepSeekV4 fused hyper-connection ops。判断上，移动端推理的差异正在落到 Adreno/OpenCL 这种具体后端细节；局限是 release 没给功耗和端侧延迟。主来源HoloAgent-0：地平线 7 月 4 日发布 HoloAgent-0 介绍，GitHub 仓库 7 月 17 日仍有更新，README 将 HoloAgent-0 code update 标记为完成，核心是 Embodied AgentOS、3D spatial memory 和机器人技能层。它说明国内端侧厂商也在把 Agent Harness 思路搬到物理世界；但仓库 license 元数据仍是 NOASSERTION，项目报告的真实机器人结果还需要外部复现。主来源
芯片 / 平台
- NVIDIA Isaac GR00T N1.7 GA：Isaac-GR00T 仓库 7 月 7 日主分支提交写明 “GR00T N1.7 General Release”，README 将 N1.7 描述为 GA，列出预训练权重、参考代码、微调/推理、完整 benchmark 和商业支持，并把 Jetson AGX Thor/Orin 放进 16GB+ VRAM 推理硬件范围。它的产业信号是 NVIDIA 正把模型、TensorRT 导出和 Jetson 部署写成一条产品化路径；局限是 GA 来自主分支和 README，独立生产 benchmark 仍缺。主来源
新项目雷达
FlashRT：新进雷达的实时推理 runtime，仓库描述覆盖 VLA、LLM、音频和视频策略，Thor 文档给出 Pi0.5、Pi0、GR00T N1.6、Pi0-FAST 的端到端延迟表。它最有价值的地方是把“机器人模型部署”写成可测 runtime 问题；目前仍以 NVIDIA CUDA 生态为主。主来源
HorizonRobotics/HoloAgent：HoloAgent 是地平线机器人实验室公开的具身 Agent 仓库，项目页和 arXiv 论文把闭环执行、3D 空间记忆、技能图和跨机器人协作放在同一个系统框架里。目前更像系统集成与研究平台，是否进入端侧芯片选型，要看后续是否披露 BPU、Jetson 或 x86 的分项部署成本。主来源
持续观察
实时 VLA runtime 的验证线：未来一个月优先看 FlashRT 是否出现第三方 Thor/Orin 复测，以及是否披露真实机器人闭环中的相机、模型、动作发送和恢复延迟。若复测成立，端侧平台会被迫回答“能否稳定跑 20-50 Hz VLA 控制”，而不是只宣传峰值算力。参考来源
模型厂商与芯片厂商的分工：GR00T N1.7、FlashRT 和 HoloAgent-0 指向同一个非共识判断：短期机器人产业化不一定由单个最大模型驱动，而可能由“模型 + 实时 runtime + 空间记忆 + 可恢复技能接口”共同决定。若后续主流厂商仍只发布离线成功率，说明这条工程路线还未成为采购门槛；若开始统一报告控制频率、失败恢复次数和平台功耗，端侧芯片竞争会被重新定价。
评论