General Compute mise 300 M$ sur SambaNova comme prochain leader des puces d'IA

General Compute, nouveau fournisseur cloud pour le déploiement de modèles d'IA, a parié sur SambaNova comme prochain champion de la course aux puces spécialisées. L'entreprise a commandé pour 300 M$ de processeurs SambaNova SN50 dédiés à l'inférence, un volume qui en fait le premier grand acheteur de ces puces parmi les néoclouds.

Un pari étonnant sur le choix sûr

General Compute vient de lever 15 M$ en tour d'amorce auprès de FUSE VC, sur une valorisation de 60 M$. Les fondateurs Finn Puklowski (CEO) et Jason Goodison (CTO) ont préféré ne pas se disputer les rares GPU de Nvidia et ont bâti leur propre stratégie. Plutôt que de se battre pour de la capacité chez Groq ou Cerebras, l'entreprise a misé sur SambaNova, start-up soutenue par Intel, moins connue mais prometteuse.

SambaNova : trois fois plus rapide

Les chiffres techniques sont convaincants. Le SambaNova SN50 génère 600 à 700 tokens par seconde en inférence, soit environ trois fois plus vite que les GPU standard (environ 250 tokens/s). Son architecture promet de surpasser non seulement les GPU, mais aussi les puces spécialisées de Groq et Cerebras, mais uniquement dans le scénario étroit de l'inférence, où la vitesse compte et où l'entraînement de nouveaux modèles n'est pas requis.

• Tokens/s : 600 à 700 contre 250 sur un GPU
• Refroidissement par air plutôt que par eau
• Consommation d'énergie d'un cran inférieure à celle des concurrents
• Compatibilité avec l'infrastructure existante des centres de données

De l'air plutôt que de l'eau

L'avantage opérationnel est souvent sous-estimé. Les puces de SambaNova sont refroidies par air, et non par eau, ce qui est crucial pour les centres de données qui ne sont pas prêts à financer de coûteuses mises à niveau. Installer dans une baie de serveurs existante une puce qui se passe de refroidissement liquide est une solution très pratique pour les opérateurs cloud.

Pourquoi tout cela compte

L'inférence est un défi distinct de la phase d'entraînement. Une fois le modèle entraîné, il faut minimiser la latence des réponses aux utilisateurs et maximiser le débit. Dans ce contexte, Cerebras a récemment fait son entrée en Bourse avec une valorisation de 57 Md$, et Groq a été rachetée par Nvidia pour 20 Md$ en décembre. Autrement dit, le marché considère que les puces spécialisées pour l'inférence ne sont pas une ligne budgétaire annexe, mais un investissement sérieux.

Ce que cela signifie

General Compute a choisi SambaNova non parce que c'est la marque la plus en vogue. L'entreprise investit dans une architecture plus performante pour une tâche précise : l'inférence dans le cloud. Si SambaNova tient ses promesses de façon fiable, cela pourrait modifier les puces choisies par les opérateurs. C'est le même coup que CoreWeave a joué avec Nvidia, mais dans l'autre sens, avec un acteur moins éprouvé mais potentiellement plus efficace.