Inferact 圍繞 vLLM 建置並銷售託管推論基礎設施。vLLM 是加州大學柏克萊分校的開源引擎,用於在 GPU 上快速且低成本地執行大型語言模型;該公司同時持續資助上游開源引擎的開發。

vLLM 將成為預設的大型語言模型推論層,而 Inferact 能在不關閉開源核心的前提下,透過圍繞開放核心的託管無伺服器基礎設施獲利。

推出前約 30 萬美元(依《富比士》報導,包含 Sequoia 的支持);隨後於 2026-01-22 宣布 1.5 億美元種子輪,估值 8 億美元,由 a16z 與 Lightspeed 共同領投,Databricks Ventures 與加州大學柏克萊分校校長基金參與。

vLLM 於 2023 年在加州大學柏克萊分校 Ion Stoica 的 Sky Computing Lab 內誕生;其 PagedAttention 論文(SOSP 2023)顯示,像虛擬記憶體一樣對注意力快取進行分頁,可減少記憶體浪費並提升推論吞吐量。隨著 AI 支出從訓練模型轉向執行模型,這個研究引擎成為許多團隊服務開源大型語言模型的預設方式。

到 2025 年底,該專案已有約 8 萬顆星與數千名生產環境使用者,但維護者並沒有圍繞它的公司。《富比士》於 2025 年 12 月報導,共同負責人 Simon Mo 正在爭取至少 1.6 億美元的募資,儘管營收極少,且迄今僅募得約 30 萬美元。2026-01-22,核心團隊以 Inferact 之名結束隱身狀態,以 8 億美元估值完成 1.5 億美元種子輪;共同創辦人 Woosuk Kwon 將目標定為讓 AI 推論「像啟動無伺服器資料庫一樣簡單」。

截至 2026-09-02,Inferact 仍在營運:創始維護者繼續掌舵,Simon Mo 擔任執行長;本輪資金用於資助託管無伺服器 vLLM 平台及持續的上游工作,且未傳出關閉、轉型或進一步募資的消息。

推論而非訓練,成為 AI 的經常性成本,因此降低推論成本的引擎成為核心基礎設施。

vLLM 的既有裝機基礎為 Inferact 帶來競爭對手買不到的通路:約 9.06 萬顆星、2,000 多名貢獻者,以及 AWS 規模的使用者。

創始團隊包含原始創作者及其柏克萊實驗室,正是讓該引擎變快的那批人。

保持核心開源,消除了通常會扼殺開源商業化的信任疑慮。

企業願意為可靠性、自動擴展與營運付費,而這正是 Inferact 正在打造的託管層。

單靠開源採用並不構成生意;Inferact 將免費核心與付費託管層分開,而投資人在任何產品營收出現之前,就以 8 億美元為團隊與採用率定價。

截至 2026-09-02,Inferact 仍在營運並持續建置。2026-01-22 宣布的 1.5 億美元種子輪,用於資助在 Kubernetes 上執行、具備可觀測性、疑難排解與災難復原能力的託管無伺服器版 vLLM,同時公司持續投資上游開源引擎,加入效能工作與新模型架構。創始維護者領導公司,截至該基準日,未傳出產品發布、轉型、關閉或後續募資的消息。

追溯依據

參考來源

  1. Inference startup Inferact lands $150M to commercialize vLLM TechCrunch · techcrunch.com ·
  2. Inferact launches with $150M in funding to commercialize vLLM SiliconANGLE · siliconangle.com ·
  3. AI Inference Project vLLM Seeks US$160 Million With Minimal Revenue Open Source For You · opensourceforu.com ·
  4. Github-Ranking-AI: most-starred AI repositories, auto-updated 2026-09-01 GitHub (yuxiaopeng) · github.com ·