トランスフォーマーを拡大するのではなく、圏論を構造的推論に応用した新しいAIモデルアーキテクチャを構築する

圏論によって、トランスフォーマーを上回るモデル群を生み出せるという賭け——より小さく、解釈可能で、実際に推論できるモデル

2023年にアイデアを実証するためKhoslaから200万ドルのプレシード、その後2024年4月に3300万ドルのシリーズA(評価額は非公開)

George Morganはテスラで4年間シニア・オートパイロットエンジニアとして過ごし、インターンとして入社した。規模のみを追う哲学は誤りだと結論づけ、2022年に退社してSymbolicaを創業した

Khoslaは2023年に200万ドルを提供し——「彼はそれを、非常に信頼できる形で成し遂げた」——その後Morganに最高の圏論研究者を雇うよう伝えた。SymbolicaはGoogle DeepMindの研究者らとともに自社のアプローチを発表し、2024年4月9日に3300万ドルのラウンドを伴って始動した

主要な研究所はいずれも、数億ドル規模のトレーニング実行を伴ってトランスフォーマーを拡大していた。Symbolicaの賭けは、次のてこになるのは規模ではなくアーキテクチャだというものだ。

創業者の確信はテスラで鍛えられた。そこでは、規模を増やしても完全自動運転を突破できずにいた——規模のみの思考にとって最も注目されるストレステストである。

Khoslaはこれを段階的な賭けに変えた。まず数学を証明するために200万ドル、Morganが「それを、非常に信頼できる形で成し遂げた」後にのみ3300万ドル。

ある分野が一つのレシピに収束するとき、最もてこの効く賭けは、そのレシピ自体がボトルネックだと考える信頼に足る部外者である。

2024年4月の始動時点で、Symbolicaは単一のトランスフォーマーを打ち負かすモデルではなく、モデルのクラスを構築していると述べていた。シリーズAの資金は圏論研究者の採用とアーキテクチャの前進に充てられる。評価額は非公開だった。

出典をたどる

出典

  1. Vinod Khosla is betting on a former Tesla autopilot engineer who quit to build small AI models that can reason Fortune · fortune.com ·