Cactus Compute押注2600万参数小模型可运行手机AI代理

Cactus Compute构建开源的跨平台AI推理引擎（Cactus），用于手机、可穿戴设备和机器人，同时提供Cactus Chat和Needle模型系列——完全在设备端运行的小型工具调用模型。

工具调用而非推理是手机代理的瓶颈——2600万参数的蒸馏模型即可胜任，因此设备端AI无需前沿规模模型。

未披露；根据YC公司页面，该公司获Y Combinator Summer 2025支持。

联合创始人Roman Shemet和Henry Ndubuaku在伦敦通过YC创始人匹配相识；因不满低成本手机上无法运行代理式AI，他们构建了Cactus，一个跨平台推理引擎，支持Flutter、React Native和Kotlin绑定，可在本地运行Hugging Face模型并提供云端回退。公司成立于2025年，参加了YC Summer 2025。

Needle源于公司内部的一个赌注：工具调用是检索与组装，而非推理，因此大规模模型是大材小用。团队在16块TPU v6e上预训练了一个2600万参数的“简单注意力网络”（无FFN层），处理200B tokens耗时27小时，随后用Gemini合成的数据后训练45分钟。结果得到一个14MB模型，在消费设备上达到6000 tok/s的预填充和1200 tok/s的解码速度，在单次函数调用上击败了FunctionGemma-270M、Qwen-0.6B、Granite-350M和LFM2.5-350M。模型于2026年5月12日以MIT许可发布，在HN上获得776分和211条评论，Gigazine指出谷歌Gemini API条款禁止蒸馏的瑕疵。

项目仍在运行并扩大规模：截至2026年9月，仓库发布了Needle 2，一个4500万参数的模型，打包为14MB二进制文件，带有2位Cactus量化、置信门控工具调用和arXiv论文（2607.18363）；YC列出一个8人的活跃旧金山团队，产品包括Cactus Engine、Needle和Cactus Hybrid。

工具调用是检索与组装，不是推理：通过隔离这一工作，Cactus证明了2600万参数的模型在单次函数调用上能击败2.7亿参数的对手——这是核心赌注。

MIT开源发布带来了即时分发：一天内HN获776分和211条评论，而专有Cactus引擎仍是商业层。

蒸馏使赌注成本低廉：27小时预训练加45分钟后训练，合成数据——尽管Gigazine指出谷歌Gemini条款禁止蒸馏。

跨平台绑定（Flutter、React Native、Kotlin）瞄准了手机应用的实际构建方式，而非押注苹果和谷歌的平台特定AI框架。

将问题缩小至小模型能胜出：将工具调用与推理分离，发布击败270M对手的26M模型，并把HN 776分的发布转化为商业引擎的分发渠道。

截至2026年9月2日，Cactus Compute已上线并扩展：Needle仓库发布Needle 2——4500万参数模型，单14MB二进制文件，带CQ2位量化、约28MB会话内存、置信门控工具调用和arXiv论文（2607.18363），团队在README中推广商业合作。YC目录列出8人活跃旧金山团队，产品线包括Cactus Engine、Needle和Cactus Hybrid（云回退）。除YC Summer 2025支持外，融资金额未披露。