Magnitude

Magnitude - 开源智能体推理引擎，本地模型自调优、2倍加速与一键连接工具

Magnitude 简介

Magnitude是一个开源推理引擎，专为AI智能体设计，核心能力是自动调优模型内核以充分利用用户硬件性能。它不要求用户手动选择量化版本或猜测硬件能否运行某个模型，而是分析设备的芯片、内存与带宽，推荐适配的模型并给出预估生成速度。桌面应用内置`magnitude` CLI，下载模型后内核会在实际芯片上进行编译与调优，找到最快且不改变模型输出的计算组合。平台支持macOS、Linux与Windows，兼容Apple Silicon、NVIDIA、AMD GPU及纯CPU环境，采用Apache 2.0协议开源，由Y Combinator S25批次支持。

Magnitude 核心功能/服务

自调优内核与2倍加速：每个模型在下载后会在用户实际芯片上进行最多一分钟的内核调优，测试不同的GPU线程组合、数据块大小与预加载策略，保留最快且不改变输出的配置。在Mac M4 Pro上解码速度比Ollama（MLX）快2.19倍，预填充快1.32倍；在NVIDIA DGX Spark上解码快2.17倍。
一键连接现有智能体：支持一键连接Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi与Cline等主流AI编程代理，无需改变现有工作流。模型按需加载，智能体需要时启动，空闲时自动卸载释放内存。
动态内存与并发会话：内存仅预留给模型权重，堆内存随智能体会话增长，停止后释放，每智能体内存占用比常规方案减少27%。混合分页注意力设计让并发会话共享前缀缓存，避免单个会话因多任务而变慢。

Magnitude 适合谁

• AI编程代理用户与开发者：已在Pi、OpenCode、Codex或Claude Code中工作的开发者，可通过Magnitude获得本地模型的推理加速，在保持现有工作流不变的前提下将模型响应速度提升至接近硬件上限。
• 注重隐私与零成本的个人开发者：不希望将代码和提示发送至云端的开发者，可利用Magnitude的完全本地运行特性，在无网络环境下持续工作，同时免除Token费用与API Key管理。
• 硬件条件多样化的技术团队：团队成员使用不同设备（Mac、NVIDIA、AMD或纯CPU）的团队，可通过Magnitude的自动硬件分析与内核调优获得适配各自设备的模型推荐与运行配置，无需手动为每台机器挑选量化版本。

为什么选择Magnitude

Magnitude的差异化在于“为智能体而生”的定位——它不追求数据中心批量服务的峰值吞吐，也不像通用引擎那样以广泛兼容性换取速度，而是专注于单机上的长时、并发智能体会话。内核在用户设备上编译调优，而非使用预编译的通用版本，这使其在个人硬件上能达到更接近理论上限的性能。作为Apache 2.0开源项目，Magnitude在GitHub上已获得超过6,300颗Star，支持macOS、Linux与Windows，并提供无头`magnitude serve`模式供服务器环境使用。访问Magnitude官网，下载桌面应用或查阅GitHub仓库开始使用。