档案库 · AI 与模型 · 技术决策 · 2026
FreeToken：FlashML 押注前沿 MoE 模型属于游戏 PC —— 11.6k 星标
FlashML 的开源引擎通过在游戏 PC 上运行 290B+ 开源权重 MoE 模型，将 GPU、CPU 和内存视为一个弹性推理平台。
FlashML
做的是什么生意
FreeToken is an open-source, edge-native Mixture-of-Experts serving engine from FlashML: it runs 290B+ open-weight frontier models on consumer laptops, gaming desktops and workstation GPUs, ships as a Windows/Linux desktop app from flashml.ai or a uv/pip CLI, and exposes Anthropic/OpenAI-compatible APIs so coding agents can run locally.
起因
FlashML created the repository on 2026-07-20, positioning FreeToken against the assumption that frontier open-weight models need datacenters. The paper lists eleven authors — Shuo Yang, Xiaoze Fan, Melissa Pan, Haocheng Xi, Zhe Wang, Shanlin Sun, Kurt Keutzer, Song Han, Matei Zaharia, Chenfeng Xu and Ion Stoica — and the acknowledgments name SGLang, vLLM, FlashInfer, flash-linear-attention, LightLLM and llama.cpp as the projects it learned from; the arXiv submission followed on 2026-08-17.
经过
Adoption compounded quickly: by the 2026-09-04 crawl the repo showed 11.6k stars, about 1.1k forks and 100 watchers across 56 commits. The feature set targets agents rather than chat alone: semantic-anchor checkpoints let tool calls and thinking blocks skip redundant context recomputation, runtime VRAM reallocates between expert caches and KV memory without reloading weights, and support spans DeepSeek-V4-Flash, Qwen3.6-35B-A3B and GLM-5.2 across MXFP4, NVFP4, FP8 and BF16 quantization, with a desktop GUI and Anthropic/OpenAI-compatible APIs.
还没有结局，它还在跑。
背景
FreeToken 是 FlashML 推出的开源、边缘原生混合专家（MoE）推理引擎，可在个人硬件上运行前沿规模的开源权重模型：在游戏 PC 上运行 290B+ MoE 模型，在笔记本上运行较小的前沿模型，提供 Windows/Linux 桌面应用、uv/pip 命令行工具，以及面向编程和工具调用代理的兼容 Anthropic/OpenAI 的 API。
押注在于架构：并非将个人电脑视为具有固定卸载策略的小 GPU，FreeToken 将 GPU、CPU、主机内存和互连视为一个统一、弹性的推理平台，持续将计算和模型状态重新映射到现有资源上。带宽自适应的 CPU-GPU 协同执行、全局 LRU 专家缓存和 FTW 快速权重格式使 284B 模型能在游戏台式机上运行，753B 的 GLM-5.2 能在单块工作站 GPU 上运行。
发布进展迅速：仓库于 2026 年 7 月 20 日创建，到 2026 年 9 月 4 日抓取时显示 11.6k 星标、约 1.1k 复刻和 100 个关注者，共 56 次提交；arXiv 论文（2608.16157，提交于 2026 年 8 月 17 日）描述支持超过 20 个 MoE 模型。截至 2026 年 9 月，项目仍处于活跃状态，采用 Apache-2.0 开源许可，桌面应用是 FlashML 的分发渠道。
这件事要成立，得有什么
- 数据中心假设是突破口：开源前沿权重存在，但服务假设使用服务器 GPU，因此在笔记本或游戏台式机上运行它们直接回应用户感受的缺口。
- 为代理而非仅聊天设计——语义缓存、运行时 VRAM 重新分配和兼容 OpenAI/Anthropic 的 API——使其适合本地 AI 实际运行的编程和工具调用工作负载。
- 将异构边缘资源视为一个弹性平台，绕过了 VRAM 墙，而无需等待更大的消费级显卡。
- 研究可信度加上可用的发布增强了信任：来自 Song Han、Matei Zaharia 和 Ion Stoica 团队的 arXiv 论文，以及可 pip 安装的引擎，让仓库无需营销即可传播。
可借鉴之处
将智能放在何处决定你的受众：押注用户已有的机器——而非数据中心——让一个研究推理引擎在数周内成为 11.6k 星标的开源发布。
后续进展
截至 2026 年 9 月 5 日，FreeToken 处于活跃开发状态：GitHub 上有 56 次提交、11.6k 星标和约 1.1k 复刻，提供 Windows/Linux 桌面应用（含 GUI 聊天和调优，位于 flashml.ai），以及 arXiv 论文描述支持超过 20 个 MoE 模型，从 8GB 笔记本 GPU 到单块工作站 GPU 上的 753B 模型。项目采用 Apache-2.0 开源许可；材料中除 FlashML 外未显示资金或公司细节。
资料来源
- FlashML-org/FreeToken — datacenter-scale model serving on your desktop
- FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡