OneTriangle、KVキャッシュ転送で長文脈推論コストを大幅削減できると賭ける

マネージドGPUスタック上でオープンウェイトモデル（DeepSeek V4 Flash、Qwen3.6 27B）を提供するAI推論スタートアップ。同時に、小型モデルがプロンプトをプリフィルし、大型モデルが転送されたキャッシュからデコードするクロスモデルKVキャッシュ転送を開発している。

小型モデルがプリフィルを行い、そのKVキャッシュを大型モデルに渡せるという賭け——小型モデルのコストで大型モデルの品質を得ることであり、転送レイヤーが推論の経済性を握るという見立てである。

Y Combinatorからの12万5,000ドルのマイクロシード（2026年6月）。

MIT CSAIL出身のHannah Chung（CEO）とMedha Venkatapathy（CTO）が、Google DeepMind、Jane Street、MIT Lincoln Laboratoryでの経歴を持つ他のMITエンジニア3名とともに、2026年にOneTriangle（当初はTrustAI）を共同創業した。彼らの前提は、推論がAI最大の計算コストとして訓練を上回っており、長文脈やエージェントのワークロードではプリフィルがコストとレイテンシの両方を支配する——すべてのサービングチームが払う隠れた税だというものである。

Y CombinatorのSummer 2026バッチに採択され、OneTriangleは2026年6月に12万5,000ドルのマイクロシードを調達した。8月18日のリサーチノートは、学習済みのMinitron 4BからLlama 3.1 8Bへのハンドオフを報告した。8,192トークンのプロンプトが、小型モデルのキャッシュを常駐させた状態で大型モデルの初回トークンに38.25msで到達したのに対し、ネイティブのプリフィルでは302.69msだった（7.9倍）。32ステップにわたるトップトークン一致率は82.52%だった。同社は現行標準と比べてプリフィルコスト20%削減、初回トークンまでの時間40%高速化を主張し、この手法をvLLMにアップストリームしていると述べている。8月24日には、8基のH100スタック上でホスト型DeepSeek V4 Flashを入力100万トークンあたり0.15ドル、出力100万トークンあたり0.35ドルで開始し、遅延ティアは40%安い。

稼働中だが未実証：ホスト型モデルサービスは公開価格で提供され稼働している一方、キャッシュ転送技術は研究段階にとどまる。OneTriangle自身のベンチマークでは、見出しの初回トークン7.9倍高速化は小型モデルの読み込みを含めると1.25倍に低下し、独立した検証や顧客名の公表はなされていない。

構造的なコストシフトへの賭け：推論がAI最大の計算コストとして訓練を追い越しており、長文脈やエージェントのワークロードではプリフィルが支配的である。

技術的な楔：クロスモデルKVキャッシュ転送はこれまで本番環境で出荷されたことがないため、機能する転送レイヤーは推論の経済性を握り得る。

市場投入の速さ：DeepSeek V4 Flashをホストすることで、キャッシュ転送の研究が成熟する間も顧客に具体的な製品を提供できる。

創業者の適合性：DeepMindとJane Streetの経験を持つMIT CSAIL出身の創業者が、サービングインフラの問題に取り組む。

エコシステム戦略：vLLMへのアップストリームにより、この手法はOneTriangle自身のスタックだけでなく、すべてのvLLM導入に届く。

誰もが同じオープンウェイトを再販する状況では、サービング性能だけが唯一の楔となる——しかし、エンドツーエンドで縮小し、自社ベンチマークしかないラボの高速化は、まだ堀ではない。

2026年8月24日時点で、OneTriangleは8基のH100上で有料かつ公開価格のDeepSeek V4 Flashサービスを運営し、カタログにQwen3.6 27Bを掲載している。従量課金制でサブスクリプションはない。KVキャッシュ転送の研究は本番前段階にとどまる。最も強い公表結果はMinitron 4BからLlamaへのハンドオフであり、同社自身のノートによれば、小型モデルの読み込みを含めると7.91倍から1.25倍に低下する。顧客名、売上、独立したベンチマークは公表されておらず、「最安・最速」という主張も独立に検証されていない。