OneTriangle aposta que a transferência de cache KV pode reduzir drasticamente os custos de inferência de contexto longo

Uma startup de inferência de IA que atende modelos de pesos abertos (DeepSeek V4 Flash, Qwen3.6 27B) a partir de pilhas de GPU gerenciadas, enquanto desenvolve transferência de cache KV entre modelos, de modo que um modelo pequeno faz o prefill dos prompts e um modelo maior decodifica a partir do cache transferido.

Que um modelo pequeno pode fazer o prefill e entregar seu cache KV a um modelo grande — qualidade de modelo grande a custo de modelo pequeno — e que a camada de transferência domina a economia da inferência.

US$ 125.000 em micro-seed da Y Combinator (junho de 2026).

Hannah Chung (CEO) e Medha Venkatapathy (CTO), formadas pelo MIT CSAIL, cofundaram a OneTriangle (inicialmente TrustAI) em 2026 com outros três engenheiros do MIT, cujas trajetórias abrangem Google DeepMind, Jane Street e MIT Lincoln Laboratory. Sua premissa: a inferência ultrapassou o treinamento como o maior custo de computação da IA e, para cargas de trabalho de contexto longo e de agentes, o prefill domina tanto o custo quanto a latência — um imposto oculto que toda equipe de serving paga.

Aceita no lote de verão de 2026 da Y Combinator, a OneTriangle levantou um micro-seed de US$ 125.000 em junho de 2026. Uma nota de pesquisa de 18 de agosto relatou uma transferência aprendida de Minitron 4B para Llama 3.1 8B: um prompt de 8.192 tokens alcançou o primeiro token do modelo maior em 38,25 ms com o cache do modelo pequeno residente, contra 302,69 ms de prefill nativo (7,9x), com 82,52% de concordância no token principal ao longo de 32 passos. A empresa alega custos de prefill 20% menores e time-to-first-token 40% mais rápido em relação aos padrões atuais, e diz estar contribuindo com a técnica upstream no vLLM. Em 24 de agosto, lançou o DeepSeek V4 Flash hospedado a US$ 0,15 por milhão de tokens de entrada e US$ 0,35 por milhão de tokens de saída em uma pilha de oito H100, com um nível com atraso 40% mais barato.

Ativa, mas não comprovada: o serviço de modelo hospedado tem preço público e está em operação, enquanto a técnica de transferência de cache permanece em estágio de pesquisa; os próprios benchmarks da OneTriangle mostram que o ganho anunciado de 7,9x no primeiro token cai para 1,25x quando a leitura do modelo pequeno é incluída, e nenhuma verificação independente ou cliente nomeado foi publicado.

Aposta em uma mudança estrutural de custos: a inferência ultrapassou o treinamento como o maior custo de computação da IA, e o prefill domina as cargas de trabalho de contexto longo e de agentes.

Cunha técnica: a transferência de cache KV entre modelos nunca foi colocada em produção, então uma camada de transferência funcional poderia dominar a economia da inferência.

Velocidade de entrada no mercado: hospedar o DeepSeek V4 Flash dá aos clientes um produto concreto enquanto a pesquisa de transferência de cache amadurece.

Adequação dos fundadores: fundadoras do MIT CSAIL com experiência na DeepMind e na Jane Street atacando um problema de infraestrutura de serving.

Jogo de ecossistema: contribuir upstream no vLLM faz a técnica chegar a todas as implantações de vLLM, e não apenas à pilha própria da OneTriangle.

Quando todos revendem os mesmos pesos abertos, o desempenho de serving é a única cunha — mas um ganho de velocidade de laboratório que encolhe de ponta a ponta e é medido apenas internamente ainda não é um fosso competitivo.

Em 24 de agosto de 2026, a OneTriangle opera um serviço pago de DeepSeek V4 Flash com preço público em oito H100 e lista o Qwen3.6 27B em seu catálogo, com preço baseado em uso e sem assinatura. A pesquisa de transferência de cache KV permanece pré-produção: seu resultado publicado mais forte é a transferência de Minitron 4B para Llama, que a própria nota da empresa relata cair de 7,91x para 1,25x quando a leitura do modelo pequeno é incluída. Nenhum nome de cliente, receita ou benchmark independente havia sido publicado, e a alegação de 'mais barato, mais rápido' não havia sido verificada de forma independente.