打造新的 AI 模型架構,將範疇論應用於結構化推理,而非擴展 transformer

押注範疇論能產出一整類表現優於 transformer 的模型——更小、可解釋、真正能夠推理

2023 年由 Khosla 提供的 200 萬美元種子前投資,用以驗證此構想,隨後於 2024 年 4 月獲得 3300 萬美元 A 輪融資(估值未披露)

George Morgan 在特斯拉度過四年,擔任資深自動駕駛工程師,最初以實習生身分加入,他認定唯規模論的哲學是錯的,並於 2022 年離職創立 Symbolica

Khosla 於 2023 年提供 200 萬美元——「他非常可信地做到了」——隨後告訴 Morgan 去聘請最優秀的範疇論學者。Symbolica 與 Google DeepMind 研究人員共同發表了其方法,並於 2024 年 4 月 9 日以該 3300 萬美元輪融資正式啟動

每個主要實驗室都在擴展 transformer,訓練成本高達數億美元;Symbolica 的押注是:架構,而非規模,才是下一個槓桿。

創辦人的信念是在特斯拉錘鍊而成,在那裡,更大的規模始終未能攻克全自動駕駛——這是唯規模論思維最受矚目的壓力測試。

Khosla 將其轉化為分階段的押注:先以 200 萬美元驗證數學,只有在 Morgan「非常可信地做到了」之後,才投入 3300 萬美元。

當一個領域趨同於單一配方時,最高槓桿的押注是那位可信的局外人,他認為配方本身就是瓶頸。

截至 2024 年 4 月啟動時,Symbolica 表示它正在打造一整類模型,而非單一擊敗 transformer 的模型;A 輪資金用於聘請範疇論學者並推進該架構。估值未披露。

追溯依據

參考來源

  1. Vinod Khosla is betting on a former Tesla autopilot engineer who quit to build small AI models that can reason Fortune · fortune.com ·