档案库 · AI 与模型 · 技术决策 · 2026
Colibrì 把 744B 的 GLM-5.2 流式运行在 25GB 内存笔记本上：937 HN 点
一位独立开发者通过从 SSD 流式加载 MoE 专家，在 25GB 内存上运行了 744B 参数的 GLM-5.2——慢如蜗牛但真实可行，获得 937 HN 点
Colibrì (JustVugg/colibri)
做的是什么生意
An open-source C inference engine (a single ~1,300-line file) that runs huge MoE LLMs on consumer PCs by streaming experts from disk.
起因
In early July 2026, Italian developer Vincenzo tried GLM-5.2, Zhipu AI's open 744B Mixture-of-Experts model, and found the output on par with Claude or GPT. His 12-core laptop had 32GB of RAM (25GB usable); running the model conventionally meant an out-of-memory crash. He converted it to int4, studied its multi-token-prediction head, then wrote a C engine, ~1,300 lines, that keeps only the dense layers (attention, shared experts, embeddings, ~17B params, ~9.9GB at int4) resident and pages the 21,504 routed experts (~370GB, ~19MB each) off a virtual NVMe drive on demand.
经过
The Show HN post on 2026-07-09 drew 937 points in days; commenters debated SSD wear, compared the design to antirez's streaming work, and called it 'the hacker spirit.' Tom's Hardware covered it on July 11: the quantized 1.5TB model ran at roughly 0.05-0.1 tokens per second on the author's CPU — 'unusable for practical conversation' but the first demonstration that frontier-class open models need not be cloud-only. The README later added a mirror feature: a second SSD holding a subset of shards, byte-validated at startup, to spread disk contention.
结果
Still a solo, unfunded proof of concept as of 2026-09-03. No company, no funding round — runnable software whose artifact is the argument that frontier AI can work on hardware you already own.
背景
2026 年 7 月，意大利开发者 Vincenzo（以 JustVugg 发帖）被智谱 AI 开源的 744B MoE 模型 GLM-5.2 所折服，发现它的回答'类似于 Claude 或 GPT'。然后他提出了一个没人期待肯定答案的问题：它能在他自己的机器上运行吗？——一台拥有 25GB 可用内存的 12 核笔记本。常规推理会立即内存溢出，所以他不再试图把问题塞进内存，而是改变了哪些东西需要常驻内存。
他的引擎 Colibrì 利用了 MoE 结构：每个 token 只激活 744B 参数中的约 40B，其中只有路由专家（约 11GB 权重）随 token 变化。因此，密集部分保持常驻（int4 下约 9.9GB），而 21,504 个专家（磁盘上约 370GB）按需流式加载，并配有每层 LRU 缓存、固定的热存储以及操作系统页缓存作为免费的第二级缓存。整个引擎是一个约 1300 行的 C 文件：无 BLAS、运行时无 Python、无 GPU。
Show HN 帖子获得 937 点和 240 条评论；Tom's Hardware 两天后跟进，将其称为'前沿级 AI 运行在 25GB RAM 上'，速度每秒 0.05-0.1 token——对对话不实际，但对'前沿开源模型并非硬件专属'这一论点具有决定性。作者继续迭代 SSD 流式性能，添加镜像和缓存调优，背后没有公司也没有融资。
这件事要成立，得有什么
- 他反转了约束：不再为适应内存而压缩模型，而是将不常用的专家移到磁盘——每个 token 只有约 11GB 权重变换，其余可以在内存中复用。
- 彻底的透明度有帮助：单个 C 文件，无依赖，无 GPU，无运行时——任何有编译器的人都能检查、运行并质疑这一主张。
- 时机重置了上限：当'本地模型'意味着 8B-70B 时，证明 744B 可以运行，将本地 AI 的论争提升到了新层面，这也是硬件媒体会报道一个业余项目的原因。
- 坦诚面对局限——冷启动、0.1 token/s、SSD 磨损问题——建立了可信度而非炒作，社区回应的是这个人，而非新闻稿。
可借鉴之处
慢但真实的证明可能比快速的证明更有价值：展示一个 744B 模型在 25GB RAM 上以 0.1 token/s 运行，改变了人们对可能性的认知，比一个精美的云演示吸引了更多关注。
后续进展
截至 2026 年 9 月 3 日，该项目仍是单人维护、无资金支持的概念验证。作者正在迭代磁盘流式性能——跨 SSD 分散读取的镜像、每层 LRU 缓存、可选固定热存储——GLM-5.2 仍是旗舰负载。Tom's Hardware 的结尾问题仍然框定着这个赌注：在某个时间点，可能在高性能消费硬件上以不错速度运行真正复杂的模型。没有公司，没有融资；产物就是论点。
资料来源
- Show HN: Getting GLM 5.2 running on my slow computer
- Colibrì proof-of-concept gains frontier-level 1.5-TB AI model — novel approach runs on only 25GB of RAM
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡