Fractile lève 720 millions de dollars pour des puces censées réduire le coût d’exécution des LLM

Lorsqu’un agent IA analyse une demande client, vérifie des données et prépare une réponse, il doit solliciter le modèle encore et encore. Chaque itération ajoute de la latence et des coûts. La société britannique Fractile a levé 720 millions de dollars pour concevoir des puces spécialisées dans l’exécution de modèles d’IA. Son pari : placer la mémoire DRAM au-dessus de la partie de la puce dédiée au calcul et compléter le matériel par son propre compilateur.

L’objectif technique est clair : accélérer l’exécution d’un modèle déjà entraîné et réduire son coût d’utilisation. Mais les résultats restent à vérifier. Selon les propos du dirigeant de Fractile, Walter Goodwin, rapportés par TechCrunch, l’entreprise entend livrer ses premières puces et ses premiers systèmes en 2027. Cette annonce justifie de suivre ce futur fournisseur d’infrastructure ; elle ne donne pas encore de raison concrète de revoir son budget d’inférence.

Pourquoi les investissements se concentrent sur la mémoire

L’exécution d’un LLM dépend à la fois du calcul et de l’accès aux données du modèle. Si les unités de calcul attendent les données en mémoire, augmenter leur puissance ne suffit pas à éliminer la latence. Pour une équipe produit, cela se traduit très concrètement : l’utilisateur attend la suite de la réponse, tandis que le serveur reste occupé.

Après avoir changé d’approche technique, Fractile mise sur la DRAM, un type courant de mémoire vive. D’après TechCrunch, l’entreprise prévoit de l’empiler en couches au-dessus de chaque puce. L’idée est d’atténuer les contraintes qui empêchent de réunir la capacité mémoire nécessaire et un accès rapide aux données.

Imaginons un agent qui examine plusieurs documents et vérifie successivement ses conclusions. Il doit faire des appels répétés au modèle. Si le nouveau système réduit la durée de chaque appel, les gains peuvent se cumuler sur l’ensemble de la chaîne. Il s’agit toutefois d’une illustration des bénéfices possibles, et non d’un résultat mesuré chez Fractile : l’article ne donne aucun chiffre précis d’accélération.

La part du travail assurée par le modèle compte également. Si l’agent passe beaucoup de temps à attendre une base de données externe ou la réponse d’un service tiers, l’accélération de la puce aura un effet plus limité pour l’utilisateur. Il faudra donc évaluer le futur système sur un scénario de travail complet.

Le compilateur doit faire le lien entre le modèle et la puce

Fractile développe aussi un compilateur pour l’apprentissage automatique. Il doit préparer les calculs du modèle pour qu’ils s’exécutent efficacement sur son propre matériel. L’entreprise espère tirer un avantage de la conception conjointe du matériel et du logiciel.

Pour les développeurs, ce détail est essentiel. Un nouvel accélérateur a peu de chances de devenir une infrastructure utile si le portage du modèle exige trop de travail manuel ou si les opérations nécessaires s’exécutent mal. La vitesse d’une démonstration isolée ne dit encore rien de la facilité d’exploitation.

Prenons une équipe qui exploite un assistant de service client. Pour évaluer un tel système, elle devra tester son propre modèle, les tailles habituelles des requêtes, la charge simultanée et le coût final de traitement d’une demande. Il lui faudra ensuite déterminer l’effort nécessaire au portage et observer le comportement du système lors des pics de demande. L’article source ne fournit aucune de ces données : ni liste des modèles pris en charge, ni résultats de tests indépendants, ni prix du matériel.

Ce que ce tour de table signifie pour le marché

Le tour de série C a été mené par Thrive Capital, Founders Fund, Lightspeed Venture Partners et Redpoint. Le fonds britannique Sovereign AI Fund y a participé. Selon le gouvernement britannique, la valorisation de Fractile a dépassé 5 milliards de livres sterling. L’État explique sa participation par sa volonté d’accroître la part du pays dans l’infrastructure matérielle de l’économie de demain.

L’ampleur du financement donne à l’entreprise les moyens de poursuivre son développement et d’assurer ses premières livraisons. Elle témoigne aussi de l’intérêt des investisseurs pour les puces spécialisées dans l’inférence. Mais le montant levé ne répond pas à la question principale de l’acheteur : combien coûtera l’exécution de sa tâche au niveau de vitesse et de qualité requis ?

Pour un fondateur ou un responsable produit, la démarche concrète consiste à bien connaître, dès maintenant, l’économie de sa propre inférence : la latence du scénario complet, le nombre d’appels au modèle et le coût par tâche menée à bien. Ces indicateurs permettront d’évaluer concrètement Fractile lorsque des systèmes seront disponibles et que des résultats vérifiables auront été publiés. Pour l’heure, il s’agit d’un investissement majeur dans la promesse de réduire les coûts d’infrastructure, dont la démonstration technique reste à faire.