colibri

colibri - 本地运行744B大模型工具，纯C零依赖流式专家推理引擎

colibri 简介

colibri是一款本地大模型推理引擎，采用纯C语言实现，零外部依赖，支持在消费级硬件上运行744B参数规模的专家混合（MoE）模型。引擎通过将19,456个专家参数作为存储层次结构进行管理，仅激活每token约40B参数与11GB动态权重，将冷数据流式传输自NVMe磁盘，热数据常驻VRAM或固定RAM，实现无需集群、无需云端、无需API密钥的本地大模型推理。

colibri 核心功能/服务

纯C零依赖本地推理：整个引擎采用纯C语言编写，无外部依赖库，直接在本地硬件上运行744B参数规模的GLM-5.2等前沿模型，无需调用云端API或组建GPU集群。

流式专家参数管理：将MoE模型的19,456个专家视为存储层次结构，通过实测路由热度决定专家驻留位置——VRAM、固定RAM或NVMe磁盘流式加载，路由器提前一层预取，隐藏传输延迟。

Token精确验证与专家图谱：所有输出与参考transformers实现进行token-exact验证，确保速度不牺牲精度；同时构建专家图谱，将13,260个表征专家按主题聚类，可视化展示模型内部工作机制。

colibri 适合谁

• 大模型研究者与工程师：需要在本地环境中运行和调试744B级MoE模型，观察每个专家的激活模式与路由行为，深入理解大模型内部工作机制。
• 注重数据隐私的AI用户：不愿将敏感数据上传至云端API，通过本地硬件直接运行前沿模型，确保数据完全不出本地，掌握模型推理的完全控制权。
• 硬件爱好者与极客用户：拥有从M4 Pro Mac Mini到EPYC服务器的各类硬件，希望验证消费级设备运行超大规模模型的可行性，探索本地AI的硬件边界。

为什么选择colibri

colibri核心优势在于"去中心化推理"与"透明可观测"——打破前沿模型被封存在数据中心的现状，让任何拥有好奇心的人都能在自有硬件上打开、运行和改进744B级模型。纯C实现确保极低的运行开销与广泛的硬件兼容性，流式专家架构让消费级设备也能承载超大规模模型。项目公开专家图谱与实测性能数据，所有结果经过token精确验证，已成为本地大模型推理领域的前沿开源项目。访问colibri官网，了解引擎原理并下载运行GLM-5.2。