Cactus Compute, 26M 초소형 도구 호출 모델로 휴대폰 AI 에이전트 실행에 도전

Cactus Compute는 휴대폰, 웨어러블, 로봇용 오픈소스 크로스플랫폼 AI 추론 엔진(Cactus)과 Cactus Chat, 그리고 완전히 온디바이스로 실행되는 소형 도구 호출 모델군인 Needle 모델 패밀리를 만든다.

휴대폰 에이전트의 병목은 추론이 아니라 도구 호출이며, 26M 파라미터 증류 모델이 이를 처리할 수 있으므로 온디바이스 AI에 프런티어급 모델이 필요하지 않다는 것이다.

공개되지 않음; YC 기업 페이지에 따르면 이 회사는 Y Combinator Summer 2025의 지원을 받는다.

공동 창업자 Roman Shemet과 Henry Ndubuaku는 런던에서 YC 공동 창업자 매칭을 통해 만났다; 저가 휴대폰에서 에이전틱 AI를 실행하는 것이 아무것도 없다는 사실에 좌절한 이들은 Flutter, React Native, Kotlin 바인딩을 갖추고 Hugging Face 모델을 로컬에서 실행하며 클라우드 폴백을 지원하는 크로스플랫폼 추론 엔진 Cactus를 만들었다. 회사는 2025년에 설립되어 YC Summer 2025를 거쳤다.

Needle은 회사 내부의 베팅에서 나왔다: 도구 호출은 추론이 아니라 검색과 조립이므로 거대 모델은 과잉이다. 팀은 FFN 레이어가 없는 26M 파라미터 'Simple Attention Network'를 16개의 TPU v6e에서 27시간 동안 200B 토큰으로 사전 학습한 뒤, Gemini로 합성한 도구 호출 데이터로 45분간 후속 학습했다. 그 결과는 소비자 기기에서 프리필 6,000 tok/s, 디코드 1,200 tok/s를 내는 14MB 모델이었고, 단일 샷 함수 호출에서 FunctionGemma-270M, Qwen-0.6B, Granite-350M, LFM2.5-350M을 앞섰다. 2026-05-12에 MIT 라이선스로 출시되어 HN에서 776포인트와 211개 댓글을 얻었으며, Gigazine은 Google의 Gemini API 약관이 증류를 금지한다는 점을 지적했다.

여전히 운영 중이며 확장 중: 2026년 9월 기준 저장소는 Needle 2를 제공하는데, 이는 2비트 Cactus Quants, 신뢰도 기반 도구 호출, arXiv 논문(2607.18363)을 갖춘 단일 14MB 바이너리의 45M 파라미터 모델이다; YC는 Cactus Engine, Needle, Cactus Hybrid 제품을 가진 샌프란시스코의 8인 활성 팀을 등재하고 있다.

도구 호출은 추론이 아니라 검색과 조립이다: 그 작업을 분리함으로써 Cactus는 26M 모델이 단일 샷 함수 호출에서 270M 파라미터 경쟁자들을 앞설 수 있음을 보여주었다 — 이것이 베팅의 전부다.

MIT 오픈소스 출시는 즉각적인 배포를 만들어냈다: 하루 만에 HN 776포인트와 211개 댓글을 얻었고, 독점 Cactus 엔진은 상업적 레이어로 남았다.

증류는 베팅을 저렴하게 만들었다: 27시간의 사전 학습에 합성 데이터로 45분간의 후속 학습 — 다만 Gigazine은 Google의 Gemini 약관이 증류를 금지한다고 지적했다.

크로스플랫폼 바인딩(Flutter, React Native, Kotlin)은 Apple과 Google의 플랫폼별 AI 프레임워크에 베팅하는 대신 휴대폰 앱이 실제로 만들어지는 곳을 겨냥했다.

초소형 모델이 이길 때까지 문제를 좁혀라: 도구 호출을 추론에서 분리하고, 270M 경쟁자들을 앞서는 26M 모델을 출시하며, HN 776포인트 런칭을 상업용 엔진의 배포로 전환하라.

2026-09-02 기준 Cactus Compute는 운영 중이며 확장 중이다: Needle 저장소는 CQ2비트 양자화, 약 28MB 세션 메모리, 신뢰도 기반 도구 호출, arXiv 논문(2607.18363)을 갖춘 단일 14MB 바이너리의 45M 파라미터 모델인 Needle 2를 제공하며, 팀은 README에서 상업적 파트너십을 홍보한다. YC 디렉터리는 Cactus Engine, Needle, Cactus Hybrid(클라우드 폴백) 제품 라인을 가진 샌프란시스코의 8인 활성 팀을 등재하고 있다. 자금 규모는 YC Summer 2025 지원 외에는 공개되지 않았다.