OneTriangle parie que le transfert de cache KV peut réduire drastiquement les coûts d'inférence en contexte long

Une startup d'inférence IA qui sert des modèles à poids ouverts (DeepSeek V4 Flash, Qwen3.6 27B) à partir de piles GPU managées, tout en développant un transfert de cache KV inter-modèles permettant à un petit modèle de préremplir les prompts et à un modèle plus grand de décoder à partir du cache transféré.

Qu'un petit modèle puisse effectuer le préremplissage et transmettre son cache KV à un grand modèle — la qualité d'un grand modèle au coût d'un petit modèle, et que la couche de transfert maîtrise l'économie de l'inférence.

125 000 $ de micro-amorçage de Y Combinator (juin 2026).

Hannah Chung (PDG) et Medha Venkatapathy (CTO), diplômées du MIT CSAIL, ont cofondé OneTriangle (initialement TrustAI) en 2026 avec trois autres ingénieurs du MIT dont les parcours couvrent Google DeepMind, Jane Street et le MIT Lincoln Laboratory. Leur postulat : l'inférence a dépassé l'entraînement comme principal coût de calcul de l'IA, et pour les charges de travail en contexte long et agentiques, le préremplissage domine à la fois le coût et la latence — une taxe cachée que paie chaque équipe de serving.

Acceptée dans la promotion Summer 2026 de Y Combinator, OneTriangle a levé un micro-amorçage de 125 000 $ en juin 2026. Une note de recherche du 18 août a rapporté un transfert appris de Minitron 4B vers Llama 3.1 8B : un prompt de 8 192 tokens a atteint le premier token du modèle plus grand en 38,25 ms avec le cache du petit modèle résident, contre 302,69 ms en préremplissage natif (7,9x), avec une concordance de 82,52 % sur le top-token sur 32 étapes. L'entreprise revendique des coûts de préremplissage inférieurs de 20 % et un time-to-first-token 40 % plus rapide par rapport aux standards actuels, et déclare contribuer la technique en amont à vLLM. Le 24 août, elle a lancé l'hébergement de DeepSeek V4 Flash à 0,15 $ par million de tokens d'entrée et 0,35 $ par million de tokens de sortie sur une pile de huit H100, avec un palier différé 40 % moins cher.

En activité mais non prouvé : le service de modèles hébergés est publiquement tarifé et opérationnel, tandis que la technique de transfert de cache reste au stade de la recherche ; les propres benchmarks d'OneTriangle montrent que l'accélération phare de 7,9x sur le premier token tombe à 1,25x lorsque la lecture du petit modèle est incluse, et aucune vérification indépendante ni aucun client nommé n'a été publié.

Pari sur un basculement structurel des coûts : l'inférence a dépassé l'entraînement comme principal coût de calcul de l'IA, et le préremplissage domine les charges de travail en contexte long et agentiques.

Levier technique : le transfert de cache KV inter-modèles n'a jamais été déployé en production, de sorte qu'une couche de transfert fonctionnelle pourrait maîtriser l'économie de l'inférence.

Rapidité de mise sur le marché : l'hébergement de DeepSeek V4 Flash offre aux clients un produit concret pendant que la recherche sur le transfert de cache mûrit.

Adéquation des fondateurs : des fondateurs du MIT CSAIL ayant l'expérience de DeepMind et de Jane Street s'attaquant à un problème d'infrastructure de serving.

Jeu d'écosystème : contribuer en amont à vLLM permet à la technique d'atteindre chaque déploiement vLLM plutôt que seulement la propre pile d'OneTriangle.

Quand tout le monde revend les mêmes poids ouverts, la performance de serving est le seul levier — mais une accélération de laboratoire qui se réduit de bout en bout et n'est évaluée que par ses propres soins n'est pas encore un fossé défensif.

Au 24 août 2026, OneTriangle exploite un service DeepSeek V4 Flash payant et publiquement tarifé sur huit H100 et liste Qwen3.6 27B dans son catalogue, avec une tarification à l'usage et sans abonnement. La recherche sur le transfert de cache KV reste pré-production : son résultat publié le plus solide est le transfert de Minitron 4B vers Llama, que la propre note de l'entreprise indique comme passant de 7,91x à 1,25x lorsque la lecture du petit modèle est incluse. Aucun nom de client, aucun revenu ni aucun benchmark indépendant n'avait été publié, et l'affirmation « le moins cher, le plus rapide » n'avait pas été vérifiée de manière indépendante.