可审计交付重排端侧 AI 选型

本周结论

本周端侧 AI、机器人和 Agent 基础设施的共同变化，不是单个模型能力又提高了一档，而是“交付物里必须包含可审计运行过程”这个要求变得更具体。NVIDIA Cosmos3-Edge 把 4B 世界动作模型、动作表示、Jetson 平台运行表和 DROID policy 放进同一个公开模型包；FlashRT 把 Pi0.5、GR00T 等 VLA 的小 batch 实时推理拆成 Jetson AGX Thor 上的延迟和成功率样例；ModelExpress 把权重、kernel cache、传输路径和冷启动时间纳入推理服务的运行时问题；TensorRT 的 IProgressMonitor 教程则把长时间 engine build 的进度、取消和 agent runtime 交互写成 API 边界。Cosmos3-Edge TensorRT 进度 API

一个可辩论判断是：未来 1 到 2 个月，端侧 AI 和物理 AI 的选型会从“模型是否支持某芯片”前移到“模型、编译、缓存、日志、失败样本能否形成同一套可复查证据”。这不是说 TOPS、内存带宽和模型精度不重要，而是说这些指标如果不能绑定版本、运行条件和回滚路径，工程团队很难把它们放入量产决策。对 Jetson、DRIVE、RKNN、BPU、QNN、OpenVINO、Pulsar2、Hexagon 和 Vulkan 后端来说，真正被客户反复使用的入口，可能不是最醒目的 demo，而是能在每次模型更新后自动回答“这次为什么变快、为什么失败、能不能退回去”的工具链。

第二个判断更非共识：NVIDIA 本周的强势信号不只在模型或硬件，而在把不可见成本显性化。Cosmos3-Edge 显性化动作模型的端侧运行表，ModelExpress 显性化权重和 kernel cache 的流动，TensorRT 显性化编译过程的等待与取消。国内端侧芯片厂商如果只继续发布模型清单、TOPS 和离线转换截图，会在机器人和本地 Agent 的工程试用中处于被动；反过来，如果它们先把 profile、编译缓存、量化记录、端到端日志和失败 trace 做成默认输出，即使模型生态暂时较弱，也有机会在客户验证阶段争取话语权。

证据链

第一条证据是 Cosmos3-Edge。Hugging Face 官方文章在 2026 年 7 月 20 日发布，称 Cosmos3-Edge 是 4B open world model，面向机器人和 vision AI agent，在边缘设备上理解环境、实时推理并生成机器人动作；文章还写明它在 Jetson Thor 上以 640x360 观察分辨率运行，单次推理生成 32 个动作，并以 15 Hz 控制频率作为目标信号。模型卡和前序核验显示，它包含 Cosmos3-Edge 与 Cosmos3-Edge-Policy-DROID 等变体，并列出 Jetson AGX Thor T5000、T3000、T2000 和 AGX Orin 等平台表。证据层级是官方模型、代码和厂商 benchmark，尚不是第三方真机复现。Cosmos3-Edge 发布

第二条证据是 FlashRT。该项目本周已被雷达覆盖，核心价值不是又封装了一个推理后端，而是把 VLA 小 batch 实时推理的运行条件写得很细：README 指向 Jetson AGX Thor、CUDA Graph、FP8/NVFP4、Pi0.5、GR00T 等样例，并在 Thor 文档中给出 2 视角 LIBERO Spatial、492/500 成功、约 44.0 ms 延迟等项目自报数字。它还说明目标是无需 ONNX 导出或 engine compilation 的小 batch 实时推理。证据仍需第三方复测，但它把端侧能不能跑 VLA 从“能启动”推进到“每步延迟、视角数、精度策略和动作周期”的层面。FlashRT

第三条证据是 ModelExpress。NVIDIA 2026 年 7 月 24 日的技术文章把模型权重分发定义为推理供应链：当已有 replica 正在服务相同模型时，ModelExpress 先确认兼容性，再通过 NIXL 做 GPU 到 GPU 权重传输；若不可用，则按 P2P RDMA、ModelStreamer、GDS、默认 loader 的优先级回退。文章还写明 DeepSeek-V4-Pro 在 8xB200、ConnectX-7、vLLM 0.23.0、TP=8 和 FlashInfer autotune 条件下测试，并把 kernel cache 继承、RL post-training refit 和 vLLM/SGLang/Dynamo/llm-d 集成放进同一套路径。它证明大模型服务的瓶颈已经从单次吞吐扩展到模型资产如何流动、复用和回滚。ModelExpress

第四条证据是 TensorRT IProgressMonitor。NVIDIA 2026 年 7 月 22 日发布教程，说明 TensorRT engine build 可能持续数秒到数分钟；IProgressMonitor 通过 phase_start、step_complete、phase_finish 三个回调提供嵌套进度、线程安全状态和取消路径，其中 step_complete 返回 false 可以在下一步边界请求取消。文章还明确把进度流接到 IDE、FastAPI 服务和 agent runtime，强调长时间构建需要可见、可取消、可预算。这条动态的产业含义很直接：端侧部署流程里的编译、tactic selection、timing cache warmup 和 kernel autotune 不再应该是黑盒等待。TensorRT 进度 API

第五条证据来自 Agent 基础设施。GitHub MCP Server v1.7.0 在 2026 年 7 月 23 日发布，配合 GitHub changelog 中对 2026-07-28 stateless MCP 规格的说明，加入最新协议支持、GitHub App server-to-server auth、Projects 分页和 lockdown mode 强化。LangChain Open SWE 本周的活动也围绕 sandbox 输出、trusted skills 并发和 review autofix 保护路径展开。它们说明 Agent 基础设施和端侧部署正在面对同一类问题：工具调用不是只要能连通，还要能记录、限流、取消、回滚和接受外部审计。GitHub MCP Server v1.7.0 GitHub changelog

同类方案对比

这个对比说明，成熟度最高的不一定是“最接近机器人量产”的项目。TensorRT IProgressMonitor 和 GitHub MCP Server 是明确的工具链能力，ModelExpress 是厂商披露的推理系统路径，Cosmos3-Edge 和 FlashRT 则更接近物理 AI 的模型与 runtime 交付。它们的共同点是都在补运行证据，但证据对象不同：Cosmos3-Edge 证明动作模型包能否被端侧平台承载，FlashRT 证明 VLA 每步延迟是否能被拆解，ModelExpress 证明模型资产是否能在集群内可靠流动，TensorRT 证明部署构建是否能被外层系统观察和停止，MCP Server 证明工具协议是否能进入治理边界。NIXL v1.3.2

对工程选型的影响也不同。机器人团队应优先关注动作表示、相机输入、控制频率、失败回放和真实 episode 记录；端侧芯片团队应把量化、编译、profile、缓存和回滚做成 SDK 默认产物；Agent 基础设施团队则要把工具调用、权限、取消和审计日志作为协议能力，而不是 UI 附属功能。若这些证据能够跨项目复用，模型生态会更容易从“看论文和 demo”进入“跑同一套验收脚本”。

反例与限制

最重要的限制是证据层级仍然不均衡。Cosmos3-Edge 的 Jetson 表和 ModelExpress 的 8xB200 结果都来自 NVIDIA，FlashRT 的 Thor 数字来自项目自报，GitHub MCP Server 的 stateless 支持处在规格切换窗口。它们能支持“可审计交付变重要”这个判断，但还不能证明具体方案已经成为行业默认路径。若未来几周缺少第三方 Jetson Thor/Orin 复测、非 NVIDIA 后端对照、真实机器人日志和客户案例，本周判断就应收敛为“领先项目在表达方式上更工程化”，而不是产业选型已经重排。FlashRT

第二个限制是 NVIDIA 生态的证据密度明显更高。Cosmos3-Edge、FlashRT 的高价值样例、ModelExpress 和 TensorRT 都围绕 CUDA、Jetson、B200、NIXL 或 TensorRT 展开。瑞芯微、全志、星宸、地平线、黑芝麻、爱芯元智、联发科、高通和 Intel 并非没有端侧部署能力，但公开材料里经常缺少同一粒度的运行证据：模型版本、输入条件、量化格式、编译缓存、失败样本、温升功耗、回滚策略和长时间运行记录。如果这些字段不公开，外部团队会自然把可复验工作流聚集到 NVIDIA 或通用开源 runtime 周围。

第三个限制是“可审计”会增加短期摩擦。把每次编译、缓存、动作输出和失败 trace 都记录下来，会暴露工具链不稳定、模型回归、边界条件和许可证问题。对销售导向的发布材料来说，这不如峰值跑分好看；对研发团队来说，却能更早发现量产风险。因此这个判断的反例也很明确：如果客户仍只按 BOM、供货、功耗和单模型 benchmark 采购，而不要求运行包和审计日志，那么可审计交付会先停留在高端机器人、AI factory 和严肃 Agent 平台，不会快速下沉到普通端侧项目。

接下来如何验证

未来 1 到 8 周可以看五组指标。第一，Cosmos3-Edge 是否出现第三方在 Jetson Thor/T3000/Orin 上复现的 action policy 成功率、端到端延迟、功耗温升和失败 episode。第二，FlashRT 是否有非项目方复测，并把 Pi0.5、GR00T 或 OpenPI 任务拆成视觉编码、主干推理、动作解码、通信和控制发布的分项耗时。第三，ModelExpress 和 NIXL 是否继续发布 provider 级修复，并在 vLLM、SGLang、Dynamo 或 llm-d 里形成可运行配置，而不只是技术文章。第四，TensorRT IProgressMonitor 是否被端侧部署服务、IDE 插件或 Agent 工具调用真实接入。第五，国产端侧 SDK 是否开始输出可下载的 profile 包、编译缓存、量化记录和失败回滚说明。ModelExpress

若至少两组指标成立，可以把本周判断升级为：端侧 AI 的默认交付物正在从“模型文件加转换脚本”扩展为“模型资产、运行 trace 和可回滚部署包”。若这些指标都没有出现，则说明本周只是 NVIDIA 和少数开源项目在工程叙事上更完整，真实采购仍会回到芯片价格、供货、功耗和现有生态惯性。对团队当前最务实的动作，是立刻把端侧实验记录标准化：每个模型版本、量化策略、目标硬件、编译缓存、输入设置、延迟分位数、峰值内存、温度、失败样本和回滚命令都进入同一份记录。这个记录会比“支持某模型”更早成为可验证差异。TensorRT 进度 API