OneTriangle setzt darauf, dass KV-Cache-Transfer die Kosten für Long-Context-Inferenz senken kann

Ein KI-Inferenz-Startup, das Open-Weight-Modelle (DeepSeek V4 Flash, Qwen3.6 27B) über verwaltete GPU-Stacks anbietet und zugleich einen modellübergreifenden KV-Cache-Transfer entwickelt, sodass ein kleines Modell Prompts vorab füllt (Prefill) und ein größeres Modell aus dem übertragenen Cache decodiert.

Dass ein kleines Modell das Prefill übernehmen und seinen KV-Cache an ein großes Modell übergeben kann – Qualität eines großen Modells zu Kosten eines kleinen Modells – und dass die Transferschicht die Ökonomie der Inferenz bestimmt.

125.000 US-Dollar Micro-Seed von Y Combinator (Juni 2026).

Hannah Chung (CEO) und Medha Venkatapathy (CTO), Absolventinnen des MIT CSAIL, gründeten OneTriangle (ursprünglich TrustAI) im Jahr 2026 gemeinsam mit drei weiteren MIT-Ingenieuren, deren Hintergründe von Google DeepMind über Jane Street bis zum MIT Lincoln Laboratory reichen. Ihre Prämisse: Inferenz hat das Training als größten Rechenkostenfaktor der KI überholt, und bei Long-Context- und Agent-Workloads dominiert das Prefill sowohl Kosten als auch Latenz – eine versteckte Abgabe, die jedes Serving-Team zahlt.

OneTriangle wurde in den Summer-2026-Jahrgang von Y Combinator aufgenommen und sammelte im Juni 2026 einen Micro-Seed von 125.000 US-Dollar ein. Eine Forschungsnotiz vom 18. August berichtete über eine erlernte Übergabe von Minitron 4B an Llama 3.1 8B: Ein Prompt mit 8.192 Token erreichte das erste Token des größeren Modells in 38,25 ms, während der Cache des kleinen Modells resident war, gegenüber 302,69 ms beim nativen Prefill (7,9x), bei 82,52 % Übereinstimmung des Top-Tokens über 32 Schritte. Das Unternehmen behauptet 20 % niedrigere Prefill-Kosten und eine um 40 % schnellere Time-to-First-Token gegenüber aktuellen Standards und gibt an, die Technik in vLLM einzubringen (Upstreaming). Am 24. August startete es das gehostete DeepSeek V4 Flash zu 0,15 US-Dollar pro Million Input-Token und 0,35 US-Dollar pro Million Output-Token auf einem Stack aus acht H100, mit einer verzögerten Tarifstufe, die 40 % günstiger ist.

Live, aber nicht belegt: Der gehostete Modelldienst ist öffentlich bepreist und läuft, während die Cache-Transfer-Technik noch im Forschungsstadium ist; die eigenen Benchmarks von OneTriangle zeigen, dass die viel zitierte 7,9-fache Beschleunigung des ersten Tokens auf 1,25x sinkt, wenn das Lesen des kleinen Modells mit eingerechnet wird, und es wurden weder eine unabhängige Überprüfung noch ein namentlich genannter Kunde veröffentlicht.

Wette auf einen strukturellen Kostenwandel: Inferenz hat das Training als größten Rechenkostenfaktor der KI überholt, und das Prefill dominiert Long-Context- und Agent-Workloads.

Technischer Hebel: Modellübergreifender KV-Cache-Transfer wurde noch nie in der Produktion eingesetzt, sodass eine funktionierende Transferschicht die Ökonomie der Inferenz bestimmen könnte.

Schnelligkeit am Markt: Das Hosting von DeepSeek V4 Flash gibt Kunden ein konkretes Produkt, während die Cache-Transfer-Forschung reift.

Passung der Gründer: MIT-CSAIL-Gründer mit Erfahrung bei DeepMind und Jane Street greifen ein Problem der Serving-Infrastruktur an.

Ökosystem-Strategie: Das Upstreaming in vLLM sorgt dafür, dass die Technik jede vLLM-Bereitstellung erreicht und nicht nur den eigenen Stack von OneTriangle.

Wenn alle dieselben offenen Gewichte weiterverkaufen, ist die Serving-Performance der einzige Hebel – doch eine Laborbeschleunigung, die sich im End-to-End-Betrieb verringert und nur selbst gemessen wurde, ist noch kein Burggraben.

Stand 24. August 2026 betreibt OneTriangle einen kostenpflichtigen, öffentlich bepreisten DeepSeek-V4-Flash-Dienst auf acht H100 und führt Qwen3.6 27B in seinem Katalog, mit nutzungsbasierter Preisgestaltung und ohne Abonnement. Die KV-Cache-Transfer-Forschung ist weiterhin vor der Produktionsreife: Ihr stärkstes veröffentlichtes Ergebnis ist die Übergabe von Minitron 4B an Llama, die laut der eigenen Notiz des Unternehmens von 7,91x auf 1,25x zusammenfällt, wenn das Lesen des kleinen Modells mit eingerechnet wird. Es wurden keine Kundennamen, Umsätze oder unabhängigen Benchmarks veröffentlicht, und die Behauptung „am günstigsten, am schnellsten“ war nicht unabhängig überprüft.