OTUS a expliqué sur Habr comment fonctionnent les agents AI pour le développement logiciel : des tokens aux outils

Habr a publié une ventilation détaillée de la façon dont fonctionnent les agents IA pour le développement. Le texte dissipe l'aura de "magie" et montre que derrière l'interface pratique se trouvent des mécaniques tout à fait concrètes : tokens, prompt système, outils, historique de dialogue et un cycle d'appels répétés du modèle.

Architecture de Base de l'Agent

L'idée principale de l'article est simple : un agent de développement n'est pas un type séparé d'intelligence, mais un enrobage autour d'un grand modèle de langage. À l'intérieur d'un tel système se trouve le LLM lui-même, un prompt système caché avec des règles de comportement, une liste d'outils disponibles et du code qui exécute tout cela dans un cycle "requête → appel de fonction → résultat → nouvelle requête". C'est ce cadre qui transforme un modèle capable de continuer du texte en un assistant qui écrit du code, lit des fichiers, exécute des commandes et retourne des résultats intermédiaires.

La mécanique de base du LLM est également discutée séparément. Un modèle fonctionne non avec des mots, mais avec des tokens — des représentations numériques de texte et d'images. C'est important non seulement pour comprendre l'architecture, mais aussi pour l'économie du produit : les fournisseurs facturent les tokens d'entrée et de sortie traités et limitent également la taille totale du contexte. Donc même une phrase en apparence simple de l'utilisateur fait partie d'une chaîne où chaque nouvelle opération affecte le prix, la latence et la qualité de la réponse.

Contexte et Prix

L'article explique bien pourquoi une longue conversation avec un agent devient presque toujours plus chère. Un modèle de langage n'a pas de mémoire inhérente entre les requêtes, donc l'application est obligée de renvoyer l'historique de la conversation à chaque nouveau tour. Si un utilisateur demande d'abord d'écrire une fonction, puis de la réécrire pour une autre bibliothèque, puis d'ajouter des tests, tout le dialogue précédent revient au modèle en tant qu'entrée. Au fur et à mesure que la session grandit, le coût de chaque étape suivante augmente.

• longueur du prompt système
• volume de l'historique de chat
• nombre de tokens d'entrée et de sortie
• mise en cache des préfixes répétés
• nombre d'appels de fonction intermédiaires

Dans ce contexte, la mise en cache des tokens devient particulièrement importante. Si la partie initiale du prompt ne change pas, le fournisseur du modèle peut la traiter moins cher car certains calculs ont déjà été effectués avant. C'est pourquoi les bons systèmes d'agents essaient de conduire le dialogue avec soin, ne pas casser les éléments stables du contexte et ne pas réassembler la requête sans nécessité. Sinon, un agent peut fonctionner notablement plus cher sans aucun gain réel en résultats ou en vitesse.

Outils et Raisonnement

La différence clé entre un agent et un chat régulier est l'accès aux outils. Le modèle reçoit les instructions sur quelles fonctions il est autorisé à appeler : de la lecture de fichiers et de la recherche de code à l'exécution de Bash ou Python. Ensuite, l'enrobage de l'agent extrait cet appel de la réponse du modèle, l'exécute et retourne le résultat au contexte. C'est grâce à ce cycle qu'un agent peut non seulement "conseiller", mais réellement tester des hypothèses, examiner le contenu du projet, reproduire les erreurs et corriger le code en fonction des faits plutôt que des suppositions.

Une autre couche est le mode de raisonnement, qui donne au modèle plus de temps et de tokens pour une analyse intermédiaire de la tâche. Dans l'article, il est décrit comme l'un des changements les plus marquants des générations récentes de modèles, particulièrement utile pour le débogage et l'analyse des branches d'exécution complexes. Mais le prix de cet avantage est direct : plus de calcul, plus de latence, plus de coût.

Comme l'indique le matériel, un agent n'est pas de la magie, mais un ensemble de décisions architecturales. Et la qualité d'un tel agent est déterminée non pas par un modèle impressionnant, mais par la façon dont l'ingénieur a assemblé tout le circuit.

Ce Que Cela Signifie

Le matériel est utile comme antidote aux attentes exagérées. Si vous utilisez ou construisez un agent IA pour le développement, vous devez regarder non seulement le nom du modèle, mais la fenêtre de contexte, le prompt système, l'ensemble d'outils, la logique de la boucle et le coût de chaque étape — c'est là que se cachent les véritables limitations et la véritable qualité.