端侧 AI 与机器人技术雷达｜2026-07-31
今日必看 VisionPsy-Nano 把小型 VLM 的竞争压到视觉 token 预算 Tether AI Research 在 2026 年 7 月 29 日发布 VisionPsy-Nano 系列：VisionPsy-Nano-460M 主打质量，VisionPsy-Nano-460M-Flash 主打延迟，二
行业动态
文章列表
Isaac Lab 强化学习实战：从 Cartpole 训练到推理验证
本文记录第一次在 Isaac Lab 中完成强化学习训练、查看训练曲线、加载 checkpoint 推理、观察仿真效果，以及修改奖励函数做对照实验的完整过程。 这次学习的重点不是背诵算法公式，而是先打通以下闭环： 理解任务 →
Continuous Batching与Expert Grouping：大模型推理服务优化原理
概述 大模型推理服务的核心问题不是“单个请求能不能跑”，而是“很多请求同时进来时，GPU能不能一直忙，并且用户等待时间不要太长”。这里会遇到两个层面的调度问题。 请求层面：不同用户请求
投机解码原理：用草稿模型加速大模型生成
概述 大语言模型生成文本时，本质上是一个自回归过程：先根据已有上下文预测下一个token，再把这个token拼回上下文里，继续预测下一个token。也就是说，如果要生成100个tok
MoE模型原理：让大模型按需激活专家
概述 大模型能力提升通常依赖两个方向：模型参数变多、训练数据变多。Dense模型的做法比较直接，每一层的参数都会参与每个token的计算，模型越大，单次前向计算也越重。这样虽然简单，
ISP Pipeline 缩写词汇总
这篇文章把 ISP Pipeline 中常见缩写按数据流阶段串起来。看 ISP 文档时，不建议孤立记缩写，而是先判断它处在输入接收、RAW 前处理、HDR/3A、RGB/YUV 后处理、几何校正、输出，还是 AI/CV 支路。 完
解构LLM： 以llama.cpp分析模型推理过程
大模型推理的"第一性原理" 从Deepseek V3到Kimi K2 无论模型如何变化，当前主流大模型的核心架构都是基于transformer。其本质是一个由多层相同结构
llama.cpp 模型加载机制深度解析
概述 llama.cpp 的模型加载系统是一个高度优化的、支持多后端、多设备的模型权重加载框架。它通过精心设计的数据结构和加载流程，实现了： 零拷贝加载：通过内存映射（mmap）实现模型文件的零拷贝加载
ggml后端架构简要分析
后端系统概述 GGML后端系统主要提供如下功能： 统一接口： 不同硬件平台使用相关的API。 自动选择：根据硬件自动选择最优后端。 灵活切换：可以在运行时切换后端。 扩展性：易于添加的新后端。
llama.cpp初探：simple示例代码简要分析
加载后端 void ggml_backend_load_all() { ggml_backend_load_all_from_path(nullptr); } void ggml_backend_load_all_from_path(const char * dir_path) { #ifdef NDEBUG bool silent = true; …
jetson orin nano使用TensorRT-LLM跑大模型
准备 硬件信息 硬件信息如下： sudo cat /proc/device-tree/model NVIDIA Jetson Orin NX Enginejetson_releasee Developer Kit(base) nano@nano-desktop:~$ jetson_release Software part of jetson-stats …