Apple Foundation Models SDK for Python : l'Apple Intelligence locale dans l'agent Hermes

Dans un billet publié sur Habr, des ingénieurs de Sber ont présenté un fournisseur natif qui connecte le modèle local d'Apple Intelligence à l'agent Python autonome Hermes via l'Apple Foundation Models SDK for Python. Selon leurs mesures, le temps de réponse moyen sur les requêtes courtes s'établit à 2,8 secondes, et l'adaptateur a donné 46 bonnes réponses sur un benchmark de 50 questions.

Qu'est-ce que le Foundation Models SDK for Python

L'Apple Foundation Models SDK for Python est une bibliothèque qui donne un accès direct au modèle local d'Apple Intelligence depuis du code Python. Apple l'a publiée en février 2026 : le modèle se charge dans le processus, le KV-cache reste en mémoire vive et l'inférence s'exécute sur les puces Apple Silicon, sans appel au cloud.

La bibliothèque a rapidement trouvé son public chez les développeurs. Selon GitHub, elle compte déjà 1,2 k étoiles, et Apple a présenté sa dernière version, la 0.2.0, avec prise en charge des images, lors de la conférence WWDC26.

• Sortie de la bibliothèque : février 2026
• 1,2 k étoiles sur GitHub
• Version 0.2.0 avec prise en charge des images : présentée à la WWDC26
• Inférence entièrement locale, sur Apple Silicon
• KV-cache conservé dans la mémoire du processus

Pourquoi un adaptateur pour Hermes était nécessaire

Jusqu'ici, il n'existait aucun fournisseur natif prêt à l'emploi pour les agents Python. Les surcouches autour de Foundation Models émulent l'interface d'OpenAI, mais ne permettent pas au modèle local de faire office de moteur principal de l'agent, avec tous ses mécanismes : limiteur de débit, bascule vers d'autres modèles et audit. Foundation Models était déjà utilisé directement dans l'agent Swift iClaw, mais cette possibilité restait fermée aux agents Python, plus polyvalents.

L'adaptateur pour Hermes comble ce vide : le modèle local d'Apple devient le moteur d'inférence en titre de l'agent, et non un service externe derrière une surcouche HTTP. Les requêtes qui lui sont adressées passent donc par la même logique de limites, de repli et de journalisation que les appels aux modèles cloud.

Quels résultats les benchmarks ont-ils donnés

Sur un jeu de test de 50 questions, le fournisseur a obtenu 46 bonnes réponses. Les questions proviennent de cinq jeux de données connus — MMLU, BoolQ, GSM8K, BIG-Bench et HellaSwag — et évaluent donc à la fois les connaissances, la logique et l'arithmétique. Le temps de réaction moyen sur les requêtes courtes est de 2,8 secondes, ce qui est sensiblement rapide pour une inférence entièrement locale sur un ordinateur portable.

Le couple vitesse et précision est l'argument central de ce cas d'usage : l'agent répond sans latence réseau et sans consommer de tokens d'API.

«

Pourquoi ne pas essayer d'ajouter à Hermes un adaptateur basé sur le Foundation Models SDK for Python et obtenir un temps de réaction moyen de 2,8 secondes sur les requêtes courtes, et 46 bonnes réponses sur un benchmark de 50 questions ? » — extrait de l'article de l'équipe de Sber sur Habr.

Ce que cela signifie

Les modèles locaux se rapprochent du rôle de moteur principal des agents autonomes : sans cloud, sans frais d'API et avec une latence acceptable. Pour les scénarios où la confidentialité et le fonctionnement hors ligne comptent, l'association d'Apple Silicon et de Python passe du statut d'exotisme à celui d'outil de travail.

Questions fréquentes

Qu'est-ce que l'Apple Foundation Models SDK for Python ?

Il s'agit d'une bibliothèque Python publiée par Apple en février 2026, qui donne un accès direct au modèle local d'Apple Intelligence : le modèle se charge dans le processus et tourne sur Apple Silicon, sans cloud. Elle compte 1,2 k étoiles sur GitHub, et sa version actuelle est la 0.2.0, avec prise en charge des images.

Quels résultats l'adaptateur pour Hermes a-t-il obtenus ?

Sur un benchmark de 50 questions (MMLU, BoolQ, GSM8K, BIG-Bench, HellaSwag), le fournisseur a donné 46 bonnes réponses, et le temps de réponse moyen sur les requêtes courtes est de 2,8 secondes, avec une inférence entièrement locale.