Cactus Compute、26Mの小型ツール呼び出しモデルでスマホ上のAIエージェント実行に賭ける

Cactus Computeは、スマートフォン、ウェアラブル、ロボット向けのオープンソースでクロスプラットフォームなAI推論エンジン（Cactus）を開発している。加えてCactus ChatとNeedleモデルファミリー — 完全にオンデバイスで動作する小型のツール呼び出しモデル群 — も手がける。

スマホ上のエージェントにとってボトルネックは推論ではなくツール呼び出しであり、26Mパラメータの蒸留モデルでそれを処理できるため、オンデバイスAIにフロンティア規模のモデルは不要だという賭け。

非公開。同社のYC企業ページによれば、Y Combinator Summer 2025の支援を受けている。

共同創業者のRoman ShemetとHenry NdubuakuはロンドンでYCの共同創業者マッチングを通じて出会った。低価格スマホでエージェント型AIを動かせるものが何もなかったことに不満を感じ、Flutter、React Native、Kotlinバインディングを備え、Hugging Faceのモデルをローカルで実行しつつクラウドフォールバックも可能なクロスプラットフォーム推論エンジンCactusを構築した。同社は2025年に設立され、YC Summer 2025を経た。

Needleは社内の賭けから生まれた。ツール呼び出しは推論ではなく検索と組み立てであるため、巨大モデルは過剰だという考えだった。チームはFFN層を持たない26Mパラメータの「Simple Attention Network」を、16基のTPU v6eで200Bトークンを用いて27時間で事前学習し、その後Geminiで合成したツール呼び出しデータで45分間ポストトレーニングした。その結果、14MBのモデルがコンシューマーデバイス上でプリフィル6,000 tok/s、デコード1,200 tok/sを達成し、単発の関数呼び出しでFunctionGemma-270M、Qwen-0.6B、Granite-350M、LFM2.5-350Mを上回った。2026年5月12日にMITライセンスで公開され、HNで776ポイント、211コメントを集めた。なおGigazineは、GoogleのGemini API利用規約が蒸留を禁止しているという留意点を指摘した。

現在も稼働し拡大中。2026年9月時点で、リポジトリはNeedle 2を提供している。これは45Mパラメータのモデルを単一の14MBバイナリに収め、2ビットのCactus Quants、信頼度で制御されるツール呼び出し、arXiv論文（2607.18363）を備える。YCは、Cactus Engine、Needle、Cactus Hybridの製品を持つサンフランシスコの8人体制のアクティブなチームとして掲載している。

ツール呼び出しは推論ではなく検索と組み立てである。その作業を切り出すことで、Cactusは26Mモデルが単発の関数呼び出しで270Mパラメータの競合を上回れることを示した — これが賭けの全体である。

MITライセンスのオープンソース公開が即座の流通を生んだ。1日でHNの776ポイントと211コメントを集め、一方でプロプライエタリなCactusエンジンは商用レイヤーとして残った。

蒸留によって賭けは低コストになった。27時間の事前学習と合成データでの45分のポストトレーニング — ただしGigazineはGoogleのGemini規約が蒸留を禁止していると指摘した。

クロスプラットフォームのバインディング（Flutter、React Native、Kotlin）は、AppleやGoogleのプラットフォーム固有のAIフレームワークに賭けるのではなく、スマホアプリが実際に作られる場所を狙った。

小さなモデルが勝つまで問題を絞り込む。ツール呼び出しを推論から切り離し、270Mの競合を上回る26Mモデルを出荷し、HNで776ポイントのローンチを商用エンジンの流通に変える。

2026年9月2日時点で、Cactus Computeは稼働し拡大中である。NeedleリポジトリはNeedle 2を提供しており、これは45Mパラメータのモデルを単一の14MBバイナリに収め、CQ2ビット量子化、約28MBのセッションメモリ、信頼度で制御されるツール呼び出し、arXiv論文（2607.18363）を備え、チームはREADMEから商用パートナーシップを売り込んでいる。YCのディレクトリは、Cactus Engine、Needle、Cactus Hybrid（クラウドフォールバック）の製品ラインを持つサンフランシスコの8人体制のアクティブなチームとして掲載している。資金額はYC Summer 2025の支援以外は非公開である。