Cactus Compute wettet darauf, dass ein winziges 26M-Tool-Calling-Modell Telefon-KI-Agenten ausführen kann

Cactus Compute entwickelt eine Open-Source-, plattformübergreifende KI-Inferenz-Engine (Cactus) für Telefone, Wearables und Roboter sowie Cactus Chat und die Needle-Modellfamilie – kleine Tool-Calling-Modelle, die vollständig auf dem Gerät laufen.

Dass Tool-Calling, nicht Reasoning, der Engpass für Telefon-Agenten ist – ein destilliertes Modell mit 26 Mio. Parametern kann das bewältigen, sodass On-Device-KI keine Modelle in Frontier-Größe benötigt.

Nicht offengelegt; das Unternehmen wird laut seiner YC-Unternehmensseite von Y Combinator Summer 2025 unterstützt.

Die Mitgründer Roman Shemet und Henry Ndubuaku lernten sich über das YC-Co-Founder-Matching in London kennen; frustriert darüber, dass nichts agentische KI auf kostengünstigen Telefonen ausführte, bauten sie Cactus, eine plattformübergreifende Inferenz-Engine mit Flutter-, React-Native- und Kotlin-Bindings, die Hugging-Face-Modelle lokal mit Cloud-Fallback ausführt. Das Unternehmen wurde 2025 gegründet und durchlief YC Summer 2025.

Needle entstand aus einer internen Wette: Tool-Calling ist Retrieval-und-Zusammenbau, kein Reasoning, daher sind riesige Modelle überdimensioniert. Das Team trainierte vorab ein 26-Mio.-Parameter-„Simple Attention Network“ ohne FFN-Schichten auf 200 Mrd. Tokens über 16 TPU v6e in 27 Stunden und trainierte es dann 45 Minuten lang auf von Gemini synthetisierten Tool-Calling-Daten nach. Das Ergebnis war ein 14-MB-Modell mit 6.000 tok/s Prefill und 1.200 tok/s Decode auf Consumer-Geräten, das FunctionGemma-270M, Qwen-0.6B, Granite-350M und LFM2.5-350M beim Single-Shot-Function-Calling übertraf. Es wurde am 2026-05-12 unter MIT-Lizenz veröffentlicht, erzielte 776 Punkte und 211 Kommentare auf HN, und Gigazine merkte die Feinheit an, dass Googles Gemini-API-Bedingungen die Destillation untersagen.

Weiterhin aktiv und skalierend: Stand September 2026 liefert das Repo Needle 2 aus, ein Modell mit 45 Mio. Parametern in einer einzigen 14-MB-Binärdatei mit 2-Bit-Cactus-Quants, konfidenzgesteuerten Tool-Aufrufen und einem arXiv-Paper (2607.18363); YC listet ein aktives 8-köpfiges Team in San Francisco mit den Produkten Cactus Engine, Needle und Cactus Hybrid.

Tool-Calling ist Retrieval-und-Zusammenbau, kein Reasoning: Indem Cactus diese Aufgabe isolierte, zeigte es, dass ein 26M-Modell 270M-Parameter-Konkurrenten beim Single-Shot-Function-Calling übertreffen kann – die ganze Wette.

Die Open-Source-Veröffentlichung unter MIT schuf sofortige Verbreitung: 776 HN-Punkte und 211 Kommentare an einem Tag, während die proprietäre Cactus-Engine die kommerzielle Schicht blieb.

Destillation machte die Wette günstig: 27 Stunden Vortraining plus ein 45-minütiges Nachtraining auf synthetisierten Daten – wobei Gigazine anmerkte, dass Googles Gemini-Bedingungen die Destillation untersagen.

Plattformübergreifende Bindings (Flutter, React Native, Kotlin) zielten dorthin, wo Telefon-Apps tatsächlich gebaut werden, statt auf die plattformspezifischen KI-Frameworks von Apple und Google zu setzen.

Verenge das Problem, bis ein winziges Modell gewinnt: Isoliere Tool-Calling vom Reasoning, liefere ein 26M-Modell aus, das 270M-Konkurrenten übertrifft, und verwandle einen HN-Launch mit 776 Punkten in Verbreitung für die kommerzielle Engine.

Stand 2026-09-02 ist Cactus Compute aktiv und skalierend: Das Needle-Repo liefert Needle 2 aus, ein Modell mit 45 Mio. Parametern in einer einzigen 14-MB-Binärdatei mit CQ2-Bit-Quantisierung, ~28 MB Sitzungsspeicher, konfidenzgesteuerten Tool-Aufrufen und einem arXiv-Paper (2607.18363), und das Team wirbt im README um kommerzielle Partnerschaften. Das YC-Verzeichnis listet ein aktives 8-köpfiges Team in San Francisco mit der Produktlinie Cactus Engine, Needle und Cactus Hybrid (Cloud-Fallback). Finanzierungsbeträge werden über die YC-Summer-2025-Unterstützung hinaus nicht offengelegt.