OneTriangle apuesta a que la transferencia de caché KV puede reducir drásticamente los costos de inferencia de contexto largo

Una startup de inferencia de IA que sirve modelos de pesos abiertos (DeepSeek V4 Flash, Qwen3.6 27B) desde pilas de GPU gestionadas, mientras desarrolla la transferencia de caché KV entre modelos para que un modelo pequeño haga el prefill de los prompts y un modelo más grande haga el decode a partir de la caché transferida.

Que un modelo pequeño puede hacer el prefill y entregar su caché KV a uno grande —calidad de modelo grande a costo de modelo pequeño— y que la capa de transferencia domina la economía de la inferencia.

125.000 dólares de micro-seed de Y Combinator (junio de 2026).

Hannah Chung (CEO) y Medha Venkatapathy (CTO), egresadas del MIT CSAIL, cofundaron OneTriangle (inicialmente TrustAI) en 2026 junto con otros tres ingenieros del MIT cuyas trayectorias abarcan Google DeepMind, Jane Street y el MIT Lincoln Laboratory. Su premisa: la inferencia ha superado al entrenamiento como el mayor costo de cómputo de la IA y, para cargas de trabajo de contexto largo y de agentes, el prefill domina tanto el costo como la latencia: un impuesto oculto que paga todo equipo de serving.

Aceptada en el lote de verano de 2026 de Y Combinator, OneTriangle recaudó un micro-seed de 125.000 dólares en junio de 2026. Una nota de investigación del 18 de agosto reportó un traspaso aprendido de Minitron 4B a Llama 3.1 8B: un prompt de 8.192 tokens alcanzó el primer token del modelo grande en 38,25 ms con la caché del modelo pequeño residente, frente a 302,69 ms con prefill nativo (7,9x), con una concordancia del token superior del 82,52% en 32 pasos. La empresa afirma que reduce los costos de prefill un 20% y acelera el tiempo hasta el primer token un 40% frente a los estándares actuales, y dice que está contribuyendo la técnica a vLLM. El 24 de agosto lanzó DeepSeek V4 Flash alojado a 0,15 dólares por millón de tokens de entrada y 0,35 dólares por millón de tokens de salida en una pila de ocho H100, con un nivel diferido un 40% más barato.

En operación pero sin probar: el servicio de modelos alojados tiene precios públicos y está funcionando, mientras que la técnica de transferencia de caché sigue en etapa de investigación; los propios benchmarks de OneTriangle muestran que la aceleración titular de 7,9x en el primer token cae a 1,25x cuando se incluye la lectura del modelo pequeño, y no se ha publicado ninguna verificación independiente ni ningún cliente identificado.

Apuesta a un cambio estructural de costos: la inferencia ha superado al entrenamiento como el mayor costo de cómputo de la IA, y el prefill domina las cargas de trabajo de contexto largo y de agentes.

Cuña técnica: la transferencia de caché KV entre modelos nunca se ha llevado a producción, así que una capa de transferencia funcional podría dominar la economía de la inferencia.

Velocidad de llegada al mercado: alojar DeepSeek V4 Flash da a los clientes un producto concreto mientras madura la investigación sobre transferencia de caché.

Idoneidad de los fundadores: fundadoras del MIT CSAIL con experiencia en DeepMind y Jane Street que atacan un problema de infraestructura de serving.

Jugada de ecosistema: contribuir a vLLM hace que la técnica llegue a cada despliegue de vLLM en lugar de solo a la propia pila de OneTriangle.

Cuando todos revenden los mismos pesos abiertos, el rendimiento del serving es la única cuña, pero una aceleración de laboratorio que se reduce de extremo a extremo y solo está medida por la propia empresa todavía no es un foso defensivo.

Al 24 de agosto de 2026, OneTriangle opera un servicio de pago de DeepSeek V4 Flash con precios públicos en ocho H100 e incluye Qwen3.6 27B en su catálogo, con precios por uso y sin suscripción. La investigación sobre transferencia de caché KV sigue en etapa previa a producción: su resultado publicado más sólido es el traspaso de Minitron 4B a Llama, que, según la propia nota de la empresa, se reduce de 7,91x a 1,25x cuando se incluye la lectura del modelo pequeño. No se habían publicado nombres de clientes, ingresos ni benchmarks independientes, y la afirmación de ser «el más barato y el más rápido» no había sido verificada de forma independiente.