Cactus Compute 押注 2600 萬參數微型工具呼叫模型，讓手機 AI 代理得以運行

Cactus Compute 打造開源、跨平台的 AI 推論引擎（Cactus），供手機、穿戴裝置與機器人使用，另有 Cactus Chat 與 Needle 模型系列——完全在裝置端運行的小型工具呼叫模型。

押注的是：手機代理的瓶頸在工具呼叫，而非推理——一個 2600 萬參數的蒸餾模型就能勝任，因此裝置端 AI 不需要前沿規模的模型。

未披露；依其 YC 公司頁面，該公司由 Y Combinator 2025 年夏季梯次支持。

共同創辦人 Roman Shemet 與 Henry Ndubuaku 透過 YC 的共同創辦人媒合在倫敦相識；由於對低成本手機上無法運行代理式 AI 感到不滿，他們打造了 Cactus——一套跨平台推論引擎，具備 Flutter、React Native 與 Kotlin 綁定，可本機運行 Hugging Face 模型並以雲端作為備援。公司成立於 2025 年，並走過 YC 2025 年夏季梯次。

Needle 源自公司內部的一項押注：工具呼叫是檢索與組裝，而非推理，因此巨型模型實屬殺雞用牛刀。團隊在 16 顆 TPU v6e 上以 200B token、耗時 27 小時預訓練了一個 2600 萬參數、無 FFN 層的「Simple Attention Network」，接著以 Gemini 合成的工具呼叫資料對其進行 45 分鐘的後訓練。結果是一個 14MB 的模型，在消費級裝置上達到 6,000 tok/s 的 prefill 與 1,200 tok/s 的 decode，在單次函式呼叫上勝過 FunctionGemma-270M、Qwen-0.6B、Granite-350M 與 LFM2.5-350M。該模型於 2026-05-12 以 MIT 授權發布，在 HN 獲得 776 分與 211 則留言，而 Gigazine 指出一個問題：Google 的 Gemini API 條款禁止蒸餾。

仍在運營並持續擴張：截至 2026 年 9 月，該儲存庫已發布 Needle 2，一個 4500 萬參數的模型，封裝於單一 14MB 二進位檔中，具備 2-bit Cactus Quants、信心閘控工具呼叫，並有一篇 arXiv 論文（2607.18363）；YC 列出一個 8 人、位於舊金山的活躍團隊，產品包括 Cactus Engine、Needle 與 Cactus Hybrid。

工具呼叫是檢索與組裝，而非推理：透過隔離這項工作，Cactus 證明一個 2600 萬參數的模型能在單次函式呼叫上勝過 270M 參數的對手——這就是整個押注。

MIT 開源發布創造了即時通路：一天內在 HN 獲得 776 分與 211 則留言，而專有的 Cactus 引擎則留作商業層。

蒸餾讓這項押注成本低廉：27 小時預訓練加上 45 分鐘在合成資料上的後訓練——不過 Gigazine 指出 Google 的 Gemini 條款禁止蒸餾。

跨平台綁定（Flutter、React Native、Kotlin）鎖定手機應用程式實際開發的所在，而非押注 Apple 與 Google 的平台專屬 AI 框架。

把問題縮小到微型模型能勝出為止：將工具呼叫從推理中隔離，推出一個勝過 270M 對手的 2600 萬參數模型，並把一場 776 分的 HN 發布轉化為商業引擎的通路。

截至 2026-09-02，Cactus Compute 仍在運營並持續擴張：Needle 儲存庫已發布 Needle 2，一個 4500 萬參數的模型，封裝於單一 14MB 二進位檔中，具備 CQ2-bit 量化、約 28MB 工作階段記憶體、信心閘控工具呼叫，並有一篇 arXiv 論文（2607.18363），團隊也在 README 中尋求商業合作。YC 的目錄列出一個 8 人、位於舊金山的活躍團隊，產品線包括 Cactus Engine、Needle 與 Cactus Hybrid（雲端備援）。除 YC 2025 年夏季梯次的支持外，未披露資金金額。