端侧AI芯片的竞争正在转向系统控制点
核心观点 端侧 AI 芯片的下一轮分化，不会只发生在 NPU TOPS、制程或单芯片价格上，而会发生在“这颗 SoC 到底控制了哪个系统入口”。地平线把舱驾融合芯片与车端 Agent OS 绑定，MediaTek 把低功耗
行业动态
文章列表
解构LLM： 以llama.cpp分析模型推理过程
大模型推理的"第一性原理" 从Deepseek V3到Kimi K2 无论模型如何变化，当前主流大模型的核心架构都是基于transformer。其本质是一个由多层相同结构
llama.cpp 模型加载机制深度解析
概述 llama.cpp 的模型加载系统是一个高度优化的、支持多后端、多设备的模型权重加载框架。它通过精心设计的数据结构和加载流程，实现了： 零拷贝加载：通过内存映射（mmap）实现模型文件的零拷贝加载
ggml后端架构简要分析
后端系统概述 GGML后端系统主要提供如下功能： 统一接口： 不同硬件平台使用相关的API。 自动选择：根据硬件自动选择最优后端。 灵活切换：可以在运行时切换后端。 扩展性：易于添加的新后端。
llama.cpp初探：simple示例代码简要分析
加载后端 void ggml_backend_load_all() { ggml_backend_load_all_from_path(nullptr); } void ggml_backend_load_all_from_path(const char * dir_path) { #ifdef NDEBUG bool silent = true; …
jetson orin nano使用TensorRT-LLM跑大模型
准备 硬件信息 硬件信息如下： sudo cat /proc/device-tree/model NVIDIA Jetson Orin NX Enginejetson_releasee Developer Kit(base) nano@nano-desktop:~$ jetson_release Software part of jetson-stats …
jetson orin nano使用llamap.cpp跑大模型
安装 确认一下是否有/usr/local/cuda/bin/nvcc，有就配置一下环境。 # 临时在当前终端生效 export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH # 验证 nvcc 是否能找到 nvcc …
GGML的CPU算子解读：矩阵乘法
算子实现 调用流程 主要是ggml_compute_forward_mul_mat函数，该函数把任务拆分，最终计算执行调用ggml_compute_forward_mul_mat_on
linux 实时性能测试
使能方法 在linux 6.12版本之后原生SDK就支持了PREEMPT_RT，使能方式如下： make kernel_menuconfig General setup ---> <*> Fully Preemptible Kernel (Real-Time) 或者直接搜索CONFIG_PREEMPT_RT=y 确认是否已经打开 zcat …
GGML计算基础：矩阵的基本运算
矩阵相乘 是神经网络中算力消耗最大的部分，通常占据 LLM 推理计算量的 95% 以上。 矩阵乘法 (Matrix Multiplication / GEMM) 这是最通用的矩阵运算形式，也是 AI 芯片中 Tensor Core 或 MAC 阵列的主要工作内容。 定义： 设矩阵 $A$ 的形状为 $(M \times K
GGML多线程计算：OpenMP简介
OpenMP是什么 OpenMP是一套用于共享内存并行系统的多线程程序设计标准。通俗的将，它允许通过简单的编译器指令（#pragma）将原本串行执行的C/C++ for循环瞬间变成多线