Des chercheurs lancent Sequent, une startup née du constat que l'alignement de l'IA n'est pas sur la bonne voie

Un groupe de chercheurs en IA a fondé la startup Sequent, avec une déclaration publique sans détour : le travail visant à aligner l'intelligence artificielle sur les valeurs humaines n'est pas sur la bonne voie. C'est l'un des rares cas où des acteurs venus de l'intérieur du système évoquent ouvertement ses défauts systémiques.

Pourquoi Sequent a vu le jour

Les fondateurs, issus du UK AI Security Institute et de plusieurs autres organismes de recherche, posent un diagnostic direct : la communauté académique et les grands laboratoires commerciaux sous-investissent systématiquement dans des axes clés de la recherche en sécurité. Le problème n'est pas l'absence de déclarations sur la sécurité, que tous les grands acteurs ont produites. Il est plus profond : l'argent et l'attention vont là où il existe déjà un résultat mesurable et un horizon de publication clair, et non là où, sans investissement, aucun résultat n'apparaîtra.

Le UK AI Security Institute est l'un des rares instituts publics au monde créés spécialement pour évaluer les risques des systèmes d'IA avancés. Que d'anciens membres fondent une startup indépendante en dit long : même au sein de la réponse institutionnelle au problème de l'alignement, certains voient des limites structurelles qu'on ne peut pas contourner de l'intérieur.

Sequent revendique une approche radicalement différente. La startup soutiendra un « portefeuille de paris de recherche sous-financés » : des pistes à haut risque, à long horizon ou sans retour commercial immédiat. En somme, il s'agit d'appliquer une logique de capital-risque à l'agenda académique de la sécurité.

Ce que recouvre le diagnostic

La formule « alignment is not on track » n'est pas un slogan marketing. Elle repose sur une thèse précise : les capacités des systèmes d'IA progressent plus vite que notre compréhension de leur fonctionnement et de la façon de les contrôler de manière fiable. L'écart entre ce que les modèles savent faire et ce que nous savons d'eux ne cesse de se creuser.

La communauté de la sécurité de l'IA distingue généralement plusieurs couches du problème, que Sequent entend attaquer :

• Interprétabilité — nous ne comprenons pas comment les modèles prennent exactement leurs décisions à l'intérieur de la « boîte noire »
• Passage à l'échelle — les modèles plus puissants se comportent de façon imprévisible par rapport aux versions plus petites, et l'extrapolation ne fonctionne pas
• Spécification des objectifs — il est extrêmement difficile de s'assurer qu'un modèle optimise réellement ce que nous voulons, et non un indicateur de substitution
• Robustesse — le comportement hors distribution diffère souvent radicalement de celui observé à l'entraînement
• Agentivité — les systèmes autonomes agissant dans le monde réel font apparaître des catégories de risques fondamentalement nouvelles

FrontierCode et assistants synthétiques

La même édition d'Import AI contient deux autres sujets. FrontierCode est un nouveau benchmark pour évaluer le code généré par de grands modèles de langage. Sa différence essentielle avec ses prédécesseurs : les tâches proviennent de dépôts de production réels, et non d'un jeu généré synthétiquement pour les tests. L'évaluation se rapproche ainsi nettement de la pratique d'ingénierie réelle et il devient plus difficile d'entraîner un modèle spécifiquement pour le benchmark.

Le second sujet porte sur des expériences avec des « stagiaires de recherche synthétiques ». Des agents IA prennent en charge des tâches routinières dans des laboratoires scientifiques : recherche et synthèse de littérature, analyse préliminaire de données, rédaction de brouillons de sections d'articles. Les chercheurs testent dans quelle mesure ces agents peuvent accélérer le processus scientifique sans dégrader la qualité ni introduire d'erreurs systématiques dans les conclusions.

Ce que cela signifie

L'apparition de Sequent est un signal : une partie de la communauté de recherche est convaincue que le courant dominant actuel de la sécurité de l'IA ne suit pas l'ampleur et la vitesse du problème. Les grands laboratoires investissent dans la sécurité, mais avant tout dans des axes compatibles avec leurs objectifs commerciaux et réglementaires. Une startup indépendante à la mission clairement affichée peut combler des lacunes structurelles qui restent systématiquement ignorées.

Reste à savoir si une petite équipe pourra surmonter l'inégalité de ressources face à Anthropic ou à Google DeepMind.