Cactus Compute parie qu'un minuscule modèle de 26 M dédié à l'appel d'outils peut faire tourner des agents IA sur téléphone

Cactus Compute développe un moteur d'inférence IA open source et multiplateforme (Cactus) pour téléphones, objets connectés portables et robots, ainsi que Cactus Chat et la famille de modèles Needle — de petits modèles d'appel d'outils qui tournent entièrement sur l'appareil.

Que l'appel d'outils, et non le raisonnement, est le goulot d'étranglement des agents sur téléphone — un modèle distillé de 26 M de paramètres peut s'en charger, si bien que l'IA embarquée n'a pas besoin de modèles à l'échelle des modèles de pointe.

Non communiqué ; la société est soutenue par Y Combinator Summer 2025 selon sa page d'entreprise YC.

Les cofondateurs Roman Shemet et Henry Ndubuaku se sont rencontrés via le co-founder matching de YC à Londres ; frustrés que rien ne fasse tourner d'IA agentique sur des téléphones bon marché, ils ont construit Cactus, un moteur d'inférence multiplateforme avec des bindings Flutter, React Native et Kotlin qui exécute localement des modèles Hugging Face avec repli sur le cloud. La société a été fondée en 2025 et a suivi YC Summer 2025.

Needle est né d'un pari interne à l'entreprise : l'appel d'outils relève de la récupération et de l'assemblage, non du raisonnement, donc les modèles massifs sont surdimensionnés. L'équipe a préentraîné un « Simple Attention Network » de 26 M de paramètres sans couches FFN sur 200 B de tokens répartis sur 16 TPU v6e en 27 heures, puis l'a post-entraîné pendant 45 minutes sur des données d'appel d'outils synthétisées par Gemini. Le résultat fut un modèle de 14 Mo réalisant 6 000 tok/s en prefill et 1 200 tok/s en décodage sur des appareils grand public, surpassant FunctionGemma-270M, Qwen-0.6B, Granite-350M et LFM2.5-350M sur l'appel de fonctions en un seul coup. Il a été lancé sous licence MIT le 2026-05-12, a attiré 776 points et 211 commentaires sur HN, et Gigazine a relevé la subtilité que les conditions d'utilisation de l'API Gemini de Google interdisent la distillation.

Toujours actif et en croissance : en septembre 2026, le dépôt livre Needle 2, un modèle de 45 M de paramètres dans un unique binaire de 14 Mo avec des Cactus Quants en 2 bits, des appels d'outils conditionnés par la confiance et un article arXiv (2607.18363) ; YC recense une équipe active de 8 personnes à San Francisco avec les produits Cactus Engine, Needle et Cactus Hybrid.

L'appel d'outils relève de la récupération et de l'assemblage, non du raisonnement : en isolant cette tâche, Cactus a montré qu'un modèle de 26 M peut battre des rivaux de 270 M de paramètres sur l'appel de fonctions en un seul coup — tout le pari.

Une publication open source sous MIT a créé une distribution instantanée : 776 points HN et 211 commentaires en une journée, tandis que le moteur propriétaire Cactus restait la couche commerciale.

La distillation a rendu le pari peu coûteux : 27 heures de préentraînement plus un post-entraînement de 45 minutes sur des données synthétisées — bien que Gigazine ait relevé que les conditions de Gemini de Google interdisent la distillation.

Des bindings multiplateformes (Flutter, React Native, Kotlin) visaient là où les applications mobiles sont réellement construites, plutôt que de parier sur les frameworks IA propres aux plateformes d'Apple et de Google.

Réduire le problème jusqu'à ce qu'un minuscule modèle l'emporte : isoler l'appel d'outils du raisonnement, livrer un modèle de 26 M qui bat des rivaux de 270 M, et transformer un lancement HN à 776 points en distribution pour le moteur commercial.

Au 2026-09-02, Cactus Compute est actif et en croissance : le dépôt Needle livre Needle 2, un modèle de 45 M de paramètres dans un unique binaire de 14 Mo avec quantification CQ2 bits, environ 28 Mo de mémoire de session, des appels d'outils conditionnés par la confiance et un article arXiv (2607.18363), et l'équipe propose des partenariats commerciaux depuis le README. L'annuaire de YC recense une équipe active de 8 personnes à San Francisco avec la gamme de produits Cactus Engine, Needle et Cactus Hybrid (repli sur le cloud). Les montants de financement ne sont pas communiqués au-delà du soutien de YC Summer 2025.