L'auteur d'un talkie-walkie IA a modelé son boîtier dans de la pâte à modeler, car l'agent ne sent pas la main

Il existe une catégorie de tâches où un agent de code calcule avec assurance tout ce qui se calcule, et perd quand même face à un bout de pâte à modeler. L'ergonomie en fait partie. L'auteur d'un talkie-walkie de poche pour son système d'agents personnel a parcouru ce chemin en pratique et l'a décrit sur Habr.

Pourquoi un talkie-walkie

L'idée est simple : on prend l'appareil en main, on serre la gâchette, on dit une idée, on relâche. L'enregistrement part en Bluetooth vers le téléphone (inutile de le sortir de la poche), puis il est traité par les agents d'un système que l'auteur appelle « Bureau » (« Biouro »), son second cerveau. Pas de boutons dans une messagerie, pas d'applications à ouvrir.

L'interface est réduite au minimum. Tout texte a été retiré de l'écran, il ne reste que l'animation : tant qu'on tient la gâchette, l'enregistrement tourne ; après le relâchement, il s'envole ; et quand le système a accepté l'enregistrement, un éclair et une coche apparaissent. Chaque événement a son propre son.

Il y a deux appareils. La première version repose sur le M5Stack Cardputer-Adv : ESP32-S3, écran de 1,14 pouce, microphone, batterie de 1500 mAh. Le boîtier se place par-dessus, et une grande gâchette latérale appuie sur le bouton d'origine. La seconde version est construite sur le M5StickS3 : même électronique, mais sans clavier et avec une batterie de 250 mAh. D'après les estimations de l'auteur, un tel appareil tient environ une semaine sur une charge.

Là où l'agent atteint son plafond

L'auteur a conçu le boîtier de la première version avec l'agent, directement en code : formes via SDF et opérations booléennes, ressort de gâchette imprimé, rendus. La mécanique a fonctionné, le réseau de neurones la calcule très bien. Mais en main, le boîtier était maladroit.

Selon l'auteur, le modèle comprend mal l'anatomie, et le calcul n'y change rien. J'ajouterai que le « confortable » n'a pas de formule que l'on puisse injecter dans du code. La sensation de la paume ne se vérifie qu'avec la paume. L'auteur a donc réparti les rôles : la forme est dictée par la main, et tout le reste autour est fait par l'agent.

Comment fonctionne le pipeline en pâte à modeler

Tout le nécessaire pour le modelage a été imprimé en 3D. L'ensemble du kit a pris 3,1 heures d'impression et consommé 98 g de PLA, et le mannequin pour le StickS3 a ajouté 28 minutes.

• Le mannequin est une copie de l'appareil agrandie de 2 mm sur les côtés et à l'arrière. La surface comporte des alvéoles de 0,8 mm pour que la pâte tienne mieux. À l'emplacement de chaque bouton et connecteur, un trou accueille un repère au feutre noir : après le modelage, on voit où se trouve le bouton sous la pâte.
• Le support de prise de vue est une colonne avec un ergot à clé, pour que le mannequin se place toujours de la même façon, et trois demi-sphères aux coins. Elles servent à recaler le scan dans les coordonnées et l'échelle de l'appareil.
• Les ébauchoirs : deux râteaux double face, deux racloirs lisses et deux gabarits en forme de « rein ». Aucun outil adapté n'existant dans le commerce, l'auteur a imprimé les siens.

Vient ensuite le travail manuel : la pâte à modeler d'architecte recouvre le mannequin de sorte que les repères dépassent, l'excédent est retiré au gabarit, et la forme est constamment essayée dans le poing. La forme terminée est posée sur le support et numérisée par photogrammétrie dans RealityScan. Ensuite, un réseau de neurones construit à partir du scan un modèle lissé, et l'agent y place la mécanique d'après les repères. C'est ce modèle qui sera imprimé.

Ce qu'il faut en retenir

L'idée principale dépasse le talkie-walkie : si une tâche comporte une part mesurable et une part « ressentie », mieux vaut les séparer. Confiez au modèle les contraintes, les tolérances et l'ajustement des composants, et à l'humain ce qui se vérifie avec le corps. Les repères et le support les relient : le résultat humain devient un artefact que l'agent peut lire.

Il y a aussi des limites. La forme n'est pour l'instant modelée que pour la main d'une seule personne ; l'auteur dit lui-même qu'il la fera évoluer vers quelque chose de plus universel. Le modèle imprimé final n'est pas encore montré dans le texte. On ne sait donc pas encore si l'étape « scan → modèle lissé → mécanique d'après les repères » fonctionne aussi bien que prévu.

Pour ceux qui conçoivent du matériel avec des agents, la conclusion est pratique : n'essayez pas d'extraire l'ergonomie d'un prompt. Imprimez un mannequin, modelez la forme, scannez-la et donnez-la à l'agent comme données d'entrée.