档案库 · AI 与模型 · 产品决策 · 2025–2026
Cactus（YC S25）押注手机本地运行开源模型，云端作为后备
YC S25开源引擎在手机上运行Gemma级文本、语音和视觉模型——Launch HN 2025-09-18，123分；仓库到2026年星标6k。
Cactus Compute
做的是什么生意
Cactus Compute builds Cactus, an open-source hybrid edge-cloud inference engine that runs text, speech and vision models on smartphones, wearables and robots, with its own rotation-based quantization (CQ), per-device CPU/GPU kernels and confidence-based cloud fallback.
起因
Cactus Compute, a YC Summer 2025 startup whose repo credits Henry Ndubuaku and whose Hacker News launch was introduced by co-founders Henry and Roman, launched its engine on 2025-09-18. The pitch was direct: AI inference belongs on phones, wearables and robots, so the team built a hybrid engine that runs open models on-device and hands hard queries to the cloud.
经过
The technical bet has three layers: Cactus Quants (rotation-and-codebook quantization from 4-bit to 1-bit), Cactus Kernels (CPU/GPU kernels for Apple, Samsung, Pixel and other silicon) and Cactus Graph (a zero-copy computation graph). The repo published benchmark tables that made the launch concrete: Gemma-4-E2B at CQ4 runs 729 tokens/s prefill and 37 tokens/s decode on an iPhone 17 Pro within roughly 644MB peak RAM, and CQ4 keeps near-F16 accuracy on MMLU (59.45 vs 62.33). A confidence-based handoff routes queries to the cloud only when the local model is unsure. By the September 2026 fetch the repo had grown to 962 commits, 6.0k stars and 501 forks, and the company had added Needle, a 26M-parameter on-device tool-calling model.
结果
Still live and open as of 2026-09-05: the repo is actively developed with iOS/Android/Python builds and models pre-uploaded to its Hugging Face org; funding and team size are not disclosed in the material.
背景
Cactus Compute，一家YC Summer 2025初创公司，构建了Cactus，一个用于手机、可穿戴设备和机器人的开源混合边缘-云推理引擎。其赌注是：激进的量化和每芯片内核可以在人们已有的硬件上运行开源模型，使本地推理成为默认，云作为设备端模型不确定查询的回退。
公司于2025-09-18在Hacker News上发布，帖子获得123分和63条评论。支撑它的是仓库中的具体证据：基于旋转的CQ4量化保持接近F16的精度（MMLU 59.45对62.33），并且Gemma-4-E2B在CQ4下在iPhone 17 Pro上以约644MB内存运行预填充729 tokens/s。
截至2026-09-04抓取，仓库显示962次提交、6.0k星和501个分支，有iOS、Android和Python产物，模型预上传到Cactus-Compute Hugging Face组织，以及第二个产品线Needle，一个26M参数设备端工具调用模型。截至2026-09-05公司仍然活跃，项目仍然开放。
这件事要成立，得有什么
- 引擎被构建为混合边缘-云并基于置信度切换——整个设计假设大多数有用的推理应该发生在设备上，而不是数据中心。
- CQ4用表格回应了对量化的标准反对：在MMLU上接近F16的精度（59.45对62.33）使质量损失足够小，可以押注产品。
- 真实设备基准（iPhone 17 Pro上约644MB内存预填充729 tokens/s）给HN发布一个可证伪的声明，而不是营销页面。
- 开源运行时创造了分发：开发人员可以brew install Cactus并在几分钟内运行模型，这就是深科技仓库达到6.0k星并培育后续赌注如Needle的方式。
可借鉴之处
开源运行时并发布每设备数据：量化和内核让演示可信，仓库成为后续赌注如设备端工具调用的分发渠道。
后续进展
截至2026-09-05，项目活跃且增长：仓库显示6.0k星、501个分支和962次提交，基准现在涵盖2025年旗舰（iPhone 17 Pro、Mac M5 Max）加上Android和可穿戴设备，模型支持扩展到Gemma、Liquid、Qwen、whisper和parakeet系列，有预构建的iOS、Android和Python产物以及模型预上传到Cactus-Compute Hugging Face组织。团队增加了Needle，一个26M参数设备端工具调用模型，作为第二条开源产品线。材料中未披露资金数字或团队规模。
资料来源
- Launch HN: Cactus (YC S25) – AI inference on smartphones
- cactus-compute/cactus — Cactus: hybrid edge-cloud AI engine
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡