실리콘밸리 벤처캐피탈이 GPU 연산력을 확보하고, a16z가 약 2만 장의 카드를 확장할 계획입니다

실리콘밸리의 여러 벤처 캐피탈이 GPU 컴퓨팅 파워를 확보하기 위해 경쟁하고 있으며, 자사 AI 스타트업에 전용 자원을 제공하고 있습니다. a16z는 2024년 초에 약 2만 대의 GPU로 구성된 컴퓨팅 파워 풀을 구축했으며, 데이터 센터 기업인 Switch와 Volta와 확장 협상을 진행 중입니다. General Catalyst는 투자 기업을 위한 데이터 센터를 구축할 계획이며, 올해 5월에는 엔비디아 DGX Cloud의 전 책임자를 영입하여 AI 인프라 사업을 총괄하고 있습니다.

AI 스타트업이 자금을 조달하더라도 GPU를 즉시 임대받기 어려울 수 있습니다. 올해 4월, 마이크로소프트 등 대형 클라우드 업체들이 내부 팀과 대고객에게 우선적으로 컴퓨팅 파워를 배정하고 있다는 보도가 있었으며, 일부 스타트업은 수개월을 기다려야 하는 상황입니다. a16z는 이전에 컴퓨팅 파워가 부족할 경우, 원래 6개월 계약으로 누릴 수 있는 가격이 3년 계약을 요구받을 수 있다고 밝혔습니다. 모델 훈련에는 단기간에 대량의 GPU 사용이 필요하지만, 추론 수요는 예측하기 어려워 수년간의 컴퓨팅 파워를 미리 확보하는 것은 자금 낭비를 초래할 수 있습니다.

a16z는 Oxygen 프로젝트를 통해 컴퓨팅 파워를 집중 구매 및 임대하여 자사 스타트업에 재분배함으로써 대고객이 누릴 수 있는 가격과 계약 조건을 제공합니다. 올해 8월, a16z는 Volta의 3억 달러 자금 조달에 공동으로 투자했으며, 후자는 24억 달러의 가치를 평가받고 있습니다. 이 투자는 AI 스타트업과 컴퓨팅 파워를 제공하는 데이터 센터 기업을 동시에 포함합니다. 소형 벤처 캐피탈인 Crucible Capital은 576개의 엔비디아 B300 GPU를 갖춘 클러스터를 구축하여 자사 스타트업이 테스트할 수 있도록 제공하며, 일부 컴퓨팅 파워는 최첨단 AI 연구소에 판매하고 있습니다. 이 모델은 벤처 캐피탈이 과거에 주로 클라우드 업체와 데이터 센터 운영자가 부담했던 투자를 맡게 합니다.