Symbolica, 3300만 달러로 출범하다 — 규모가 아닌 범주론으로 트랜스포머를 설계하다

트랜스포머를 확장하는 대신 범주론을 구조적 추론에 적용한 새로운 AI 모델 아키텍처를 개발한다

범주론이 트랜스포머를 능가하는 모델군 전체를 만들어낼 수 있다는 것 — 더 작고, 해석 가능하며, 실제로 추론할 수 있는 모델

2023년 Khosla로부터 아이디어를 입증하기 위한 200만 달러 프리시드, 이어 2024년 4월 3300만 달러 시리즈 A (기업가치 미공개)

George Morgan은 테슬라에서 4년간 시니어 오토파일럿 엔지니어로 일했으며 인턴으로 시작했다. 그는 규모만 중시하는 철학이 틀렸다고 결론 내리고 2022년 퇴사해 Symbolica를 창업했다

Khosla는 2023년 200만 달러를 제공하며 '그는 그것을 매우 신뢰할 만하게 해냈다'고 말했고, 이어 Morgan에게 최고의 범주론자들을 영입하라고 했다. Symbolica는 Google DeepMind 연구자들과 함께 자신들의 접근법을 발표하고 2024년 4월 9일 3300만 달러 라운드로 출범했다

모든 주요 연구소가 수억 달러 규모의 훈련 런으로 트랜스포머를 확장하고 있었다. Symbolica의 베팅은 다음 지렛대가 규모가 아니라 아키텍처라는 것이다.

창업자의 확신은 테슬라에서 형성되었다. 테슬라에서는 규모를 더 키워도 완전 자율주행을 돌파하지 못했는데, 이는 규모만 중시하는 사고에 대한 가장 주목받는 스트레스 테스트였다.

Khosla는 이를 단계적 베팅으로 전환했다. 먼저 수학을 입증하는 데 200만 달러, Morgan이 '그것을 매우 신뢰할 만하게 해낸' 뒤에야 3300만 달러를 투입했다.

한 분야가 하나의 레시피로 수렴할 때, 가장 지렛대가 큰 베팅은 그 레시피 자체가 병목이라고 생각하는 신뢰할 만한 외부인이다.

2024년 4월 출범 시점에 Symbolica는 단일 트랜스포머를 능가하는 모델이 아니라 모델군을 구축하고 있다고 밝혔다. 시리즈 A 자금은 범주론자 채용과 아키텍처 고도화에 쓰인다. 기업가치는 공개되지 않았다.