档案库 · AI 与模型 · 技术决策 · 2025-2026
RunAnywhere 押注手写 Metal 内核，让端侧 AI 成为默认选择
YC W26 初创公司跳过通用运行时，手写 Apple Metal 和 Qualcomm NPU 内核，开源 SDK，并销售车队控制平面。
RunAnywhere
做的是什么生意
On-device AI infrastructure: hand-written inference engines for Apple GPUs (MetalRT) and Qualcomm Hexagon NPUs (QHexRT), open-source SDKs for iOS, Android, React Native, Flutter, TypeScript, and C++, plus a hosted console for model rollouts and fleet observability.
起因
Sanchit and Shubham founded RunAnywhere in 2025 and joined YC's Winter 2026 batch. Their premise was that demoing on-device AI is easy but shipping it is brutal: teams chain STT, LLM, and TTS, each stage adds latency, and most fall back to cloud APIs not because local models are bad but because local inference infrastructure is.
经过
They built MetalRT, an inference engine with custom Metal compute shaders, zero runtime allocations, and one unified engine for LLMs, speech, and TTS, then open-sourced RCLI, an end-to-end voice pipeline. Published M4 Max benchmarks: Qwen3-0.6B at 658 tok/s vs 295 for llama.cpp and 552 for MLX, 6.6ms time-to-first-token, 70 seconds of audio transcribed in 101ms, and 178ms TTS. At the March 2026 launch the open-source SDKs had roughly 10.1k GitHub stars.
结果
Still live. RunAnywhere expanded to a second engine, QHexRT, running LLM, VLM, STT, TTS, and embeddings fully on Qualcomm Hexagon NPUs, and sells a control plane for hybrid routing - local-first with policy-based cloud fallback - across device fleets.
背景
RunAnywhere 是一家 YC 2026 冬季初创公司，构建端侧 AI 基础设施。他们没有包装通用运行时，而是为消费级芯片手写推理内核——用于 Apple GPU 的 MetalRT 和用于 Qualcomm Hexagon NPU 的 QHexRT——并开源运行时、SDK 和 RCLI 项目下的 CLI 语音流水线。
创始人 Sanchit 和 Shubham 从一个简单的观察出发：大多数团队退回云 API 不是因为本地模型不好，而是因为本地推理基础设施不行。在语音流水线中，延迟是叠加的——三个串联的模型，如果每个增加 200ms，用户需要等待 600ms 才能听到一个词。
在 2026 年 3 月的 Launch HN 中，RunAnywhere 发布了 M4 Max 数据：Qwen3-0.6B 解码速度为 658 tok/s，而 llama.cpp 为 295，MLX 为 552，首 token 延迟 6.6ms，70 秒音频转写耗时 101ms，TTS 178ms。发布时开源 SDK 在 GitHub 上已有约 10100 星。
该公司现在将研究引擎与托管控制台配成一对：OTA 模型更新、基于策略的混合路由（先本地后云端回退），以及跨数千台设备的可观测性，支持 iOS、Android、macOS、Windows、Linux、Web 和嵌入式。
这件事要成立，得有什么
- 语音流水线会使延迟叠加：三个串联模型意味着每个阶段必须在单台设备上快速运行，而带框架开销的通用运行时无法做到。
- 核心赌注是问题不在芯片——Apple GPU 和 Qualcomm NPU 已经很快，但通用运行时让它们闲置，所以手写内核才是解锁之道。
- 公开每一项基准测试使性能声明成为产品本身：工程师可以在采用前验证 658 tok/s，这比营销更有说服力。
- 开源 RCLI 和 SDK 是分发楔子：开发者安装、测量，然后为控制平面和车队运营付费。
- 混合路由对冲了风险——本地优先、策略性云端回退意味着端侧 AI 不必在第一天赢得所有任务。
可借鉴之处
当主流抽象成为瓶颈时，深入底层：RunAnywhere 手写内核是因为通用运行时让消费级芯片闲置，他们发布每一项基准测试。
后续进展
截至 2026 年 9 月，RunAnywhere 仍然活跃，在旧金山有一个五人团队。产品线从 MetalRT 扩展到包括用于 Qualcomm Hexagon NPU 的 QHexRT，一个共享的 C++ 核心和六个 SDK，以及一个用于模型管理、策略路由和遥测的托管控制台。引擎和 SDK 是开源的，公司将其市场定义为医疗、金融、语音和代理领域的企业端侧 AI。
资料来源
- Launch HN: RunAnywhere (YC W26) - Faster AI Inference on Apple Silicon
- RunAnywhere: The default way of running on-device AI at Scale
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡