OneTriangle, KV 캐시 전송으로 장문맥 추론 비용 절감에 도전

관리형 GPU 스택에서 오픈 웨이트 모델(DeepSeek V4 Flash, Qwen3.6 27B)을 서빙하는 AI 추론 스타트업으로, 소형 모델이 프롬프트를 프리필하고 대형 모델이 전송된 캐시로 디코딩하는 모델 간 KV 캐시 전송 기술을 개발 중이다.

소형 모델이 프리필을 수행하고 그 KV 캐시를 대형 모델에 넘길 수 있다는 것 — 즉 소형 모델 비용으로 대형 모델 품질을 얻고, 전송 계층이 추론 경제성을 장악한다는 베팅이다.

Y Combinator로부터 125,000달러의 마이크로 시드 투자(2026년 6월).

MIT CSAIL 출신인 Hannah Chung(CEO)과 Medha Venkatapathy(CTO)가 Google DeepMind, Jane Street, MIT Lincoln Laboratory 경력을 가진 다른 MIT 엔지니어 세 명과 함께 2026년 OneTriangle(초기 명칭 TrustAI)을 공동 창업했다. 이들의 전제는 추론이 AI의 최대 컴퓨팅 비용으로서 훈련을 추월했으며, 장문맥 및 에이전트 워크로드에서는 프리필이 비용과 지연 모두를 지배한다는 것 — 모든 서빙 팀이 지불하는 숨은 세금이라는 것이다.

Y Combinator의 2026년 여름 배치에 합격한 OneTriangle은 2026년 6월 125,000달러의 마이크로 시드 투자를 유치했다. 8월 18일자 연구 노트는 학습된 Minitron 4B에서 Llama 3.1 8B로의 핸드오프를 보고했다: 8,192토큰 프롬프트가 소형 모델의 캐시를 상주시킨 상태에서 대형 모델의 첫 토큰에 38.25ms 만에 도달한 반면 네이티브 프리필은 302.69ms였으며(7.9배), 32스텝에 걸쳐 최상위 토큰 일치율 82.52%를 기록했다. 회사는 현재 기준 대비 프리필 비용 20% 절감과 첫 토큰까지의 시간 40% 단축을 주장하며, 이 기법을 vLLM에 업스트림하고 있다고 밝혔다. 8월 24일에는 8대의 H100 스택에서 호스팅형 DeepSeek V4 Flash를 100만 입력 토큰당 0.15달러, 100만 출력 토큰당 0.35달러에 출시했으며, 40% 더 저렴한 지연 티어도 제공한다.

가동 중이나 미검증: 호스팅 모델 서비스는 공개 가격으로 운영 중이지만, 캐시 전송 기법은 여전히 연구 단계다. OneTriangle 자체 벤치마크에 따르면 대표적인 첫 토큰 7.9배 속도 향상은 소형 모델의 읽기를 포함하면 1.25배로 줄어들며, 독립적 검증이나 실명 고객은 공개되지 않았다.

구조적 비용 전환에 대한 베팅: 추론이 AI의 최대 컴퓨팅 비용으로서 훈련을 추월했고, 프리필이 장문맥 및 에이전트 워크로드를 지배한다.

기술적 쐐기: 모델 간 KV 캐시 전송은 프로덕션에 출시된 적이 없으므로, 작동하는 전송 계층은 추론 경제성을 장악할 수 있다.

시장 진입 속도: DeepSeek V4 Flash 호스팅은 캐시 전송 연구가 성숙하는 동안 고객에게 구체적인 제품을 제공한다.

창업자 적합성: DeepMind와 Jane Street 경력을 가진 MIT CSAIL 창업자들이 서빙 인프라 문제를 공략한다.

생태계 전략: vLLM에 업스트림하면 이 기법이 OneTriangle 자체 스택뿐 아니라 모든 vLLM 배포에 도달하게 된다.

모두가 동일한 오픈 웨이트를 재판매할 때 서빙 성능이 유일한 쐐기다 — 그러나 종단 간 성능이 줄어들고 자체 벤치마크만 존재하는 연구실 수준의 속도 향상은 아직 해자(moat)가 아니다.

2026년 8월 24일 기준 OneTriangle은 8대의 H100에서 유료로 공개 가격이 책정된 DeepSeek V4 Flash 서비스를 운영하고 있으며, 카탈로그에 Qwen3.6 27B를 등재하고 사용량 기반 가격제(구독 없음)를 적용하고 있다. KV 캐시 전송 연구는 여전히 프로덕션 이전 단계다: 가장 강력한 공개 결과는 Minitron 4B에서 Llama로의 핸드오프이며, 회사 자체 노트에 따르면 소형 모델의 읽기를 포함하면 7.91배에서 1.25배로 줄어든다. 고객 이름, 매출, 독립적 벤치마크는 공개되지 않았고, '가장 저렴하고 가장 빠르다'는 주장은 독립적으로 검증되지 않았다.