PrismML, 1비트 LLM이 휴대폰에 적합하다고 베팅; Bonsai 8B 출시, Apple과 협상 중

1비트 및 삼진(ternary) 대규모 언어 모델을 구축하는 AI 연구소로, Bonsai 8B는 1.15GB, Bonsai 27B는 3.9GB이며 스마트폰, 노트북, 임베디드 시스템에서 로컬로 실행된다.

차기 AI 도약은 지능 밀도에 있다는 것, 즉 1비트 모델이 휴대폰과 엣지 기기에서 거의 완전한 정밀도의 추론을 제공하여 온디바이스 AI를 기본으로 만들 수 있다는 것이다.

Khosla Ventures, Cerberus Ventures, Caltech로부터 SAFE 및 시드 펀딩으로 1,625만 달러를 조달했으며, Google과 Caltech로부터 컴퓨팅 지원금을 받았다(2026년 3월 발표).

Babak Hassibi 교수 주도의 Caltech 연구진이 추론 능력을 잃지 않고 신경망을 압축하는 연구를 수년간 진행한 끝에 설립했다. 이 회사는 2026-03-31에 1,625만 달러 라운드와 1비트 Bonsai 8B(Apache 2.0)의 오픈소스 공개로 스텔스에서 나왔으며, Google TPU로 학습되었다.

Bonsai 8B는 Hacker News 첫 페이지에 올랐고(430점, 댓글 153개) 최초의 상업적으로 실행 가능한 1비트 LLM으로 폭넓게 보도되었다. 2026-07-14에 PrismML은 Qwen3.6 27B의 1비트 빌드인 Bonsai 27B를 출시했으며, 이는 3.9GB(삼진 변형 5.9GB)를 차지하고 iPhone 17 Pro에서 실행된다. edgen.tech는 Apple이 온디바이스 Siri를 위해 이 기술을 평가하기 위한 초기 협상 중이라고 보도했다.

확장: Bonsai 27B는 Hugging Face에서 Apache 2.0으로 제공되며, 팀은 채용 중이고 압축된 Gemma 모델이 다음 파이프라인에 있다. 2026년 9월 기준으로 독립적인 제3자 벤치마크는 공개되지 않았다.

전체 네트워크에 걸친 1비트 양자화는 메모리를 약 14배 줄이면서 벤치마크 평균은 8B 완전 정밀도 모델과 경쟁력을 유지한다.

온디바이스 실행은 클라우드 지연, 프라이버시, 비용 문제를 제거하여 휴대폰, 로봇, 웨어러블, 보안 기업 배포를 열어준다.

Caltech IP와 Khosla, Cerberus, Google의 지원은 스텔스 연구소에 신뢰성과 전체 1비트 제품군을 학습할 TPU 컴퓨팅을 제공했다.

Apple이 Siri에 이 압축 기술을 채택한다면, 온디바이스 추론은 개발자들의 신기함에서 하룻밤 사이에 주요 OEM의 기본값으로 이동한다.

기존 강자의 트레이드오프를 뒤집는 지표를 선택하라: 벤치마크 평균 대신 GB당 지능을 최적화함으로써 PrismML은 '휴대폰에서 실행된다'를 기존 강자가 빠르게 모방할 수 없는 기능으로 만들었다.

2026-09-02 기준으로 PrismML은 Bonsai 27B(1비트, 3.9GB)와 8B/4B/1.7B 모델을 출시했으며, 모두 Hugging Face에서 Apache 2.0으로 MLX 및 CUDA를 지원한다. edgen.tech는 Apple이 온디바이스 Siri를 위해 이 기술을 평가하기 위한 초기 협상 중이라고 보도했고, CEO Babak Hassibi는 CNBC에 Apple과 다른 회사들이 이를 평가하고 있다고 말했다. 이 회사는 채용 중이며 압축된 Google Gemma 모델이 다음이고, 그 뒤에 27B 파라미터 이상의 작업이 이어질 것이라고 밝혔다. 주요 단서: 벤치마크는 자체 보고이며, 기준일 현재 독립적인 제3자 테스트는 공개되지 않았다.