Le code culturel russe comme test pour les réseaux neuronaux : Shurik, panelki et Nano Banana

Un développeur a testé plusieurs modèles de génération d'images sur leur compréhension du code culturel russe — bâtiments à panneaux soviétiques, Shurik et le docteur Livsey. Pas académiquement, mais « à l'œil » : vous regardez une image et vous comprenez immédiatement si le modèle a saisi l'ambiance.

L'idée : l'ambiance au lieu des métriques

Tout a commencé avec Nano Banana. L'auteur a demandé de dessiner une scène surréaliste sur le fond de bâtiments à panneaux soviétiques — et le modèle n'a pas seulement dépeint les bâtiments, il a transmis avec précision l'atmosphère. C'est devenu la raison d'un mini-benchmark : pas des milliers de prompts, pas de scores FID, pas de tableaux académiques. Simplement un ensemble d'images visuellement reconnaissables — et une comparaison des résultats en temps réel.

Le code culturel russe est difficile à comprendre de l'extérieur. Les bâtiments à panneaux ne sont pas seulement un type d'habitation, c'est toute une narration visuelle : l'espace soviétique, les cours, les bancs délavés, l'odeur de l'été. Shurik n'est pas seulement un étudiant à lunettes, c'est un archétype de la comédie soviétique avec une certaine énergie. Le docteur Livsey est un mème sur la façon de marcher comme si vous étiez le personnage principal dans n'importe quelle pièce. Si le modèle ne « connaît » pas ces images de l'intérieur, les images seront techniquement correctes, mais la sensation sera mauvaise.

Les benchmarks visuels de ce type sont encore rares — la plupart des tests se concentrent sur le texte, la logique et les faits. Mais pour les modèles qui dessinent, comprendre la culture visuelle est plus important que d'épeler correctement « panelka ».

Prompts de la vie

Pour le benchmark, l'auteur a utilisé plusieurs scènes chargées de sens culturel :

• Immeubles à panneaux soviétiques — cour, bancs, garages, été
• Shurik de « L'Opération Y » — un étudiant à lunettes prenant un sandwich shawarma « sur le pouce »
• Docteur Livsey dans sa démarche signature du mème viral
• esthétique postsoviétique de cour en général

Aucun des prompts n'explique le contexte en détail — c'est exactement ce qu'il teste : combien le modèle a « absorbé » de la couche culturelle, plutôt que de simplement connaître les mots. Un bon test est celui sans indices.

Où les modèles trébuchent

Les modèles occidentaux, entraînés principalement sur du contenu en anglais, reproduisent le « soviétique » par des clichés : trop sombre, trop industriel, sans vivacité. Leur Shurik est un étudiant occidental typique à lunettes, sans l'immédiateté soviétique. Les bâtiments à panneaux ressemblent à une dystopie, pas à de la nostalgie.

Le problème ne réside pas dans la qualité du dessin — c'est que le modèle regarde la culture de l'extérieur.

«

Il n'a pas seulement dessiné des bâtiments à panneaux, n'a pas seulement exécuté parfaitement le prompt, il a transmis avec précision l'ambiance et toute l'atmosphère », écrit l'auteur à propos de Nano Banana.

Nano Banana dans ce test s'est avérée être la plus proche de « de l'intérieur » : le modèle est entraîné sur suffisamment de matériel visuel postsoviétique pour reproduire non seulement la forme, mais la sensation. C'est rare parmi les modèles commerciaux de génération d'images.

Pourquoi c'est important

La plupart des benchmarks évaluent la logique, les connaissances factuelles, les capacités linguistiques. La précision culturelle reste dans un point aveugle — particulièrement pour les cultures non latines. Pendant ce temps, c'est précisément ce qui détermine l'utilité d'un modèle pour les tâches locales : design, contenu, éducation, marketing. Les tests « populaires » sont un moyen rapide et honnête de voir l'écart que les métriques académiques ne détectent pas.

Si un modèle ne comprend pas pourquoi Shurik prend un sandwich shawarma spécifiquement « sur le pouce », il ne comprend pas la culture — même s'il écrit en russe sans erreurs.

Ce que cela signifie

Le code culturel est un paramètre sous-estimé pour évaluer les réseaux de neurones. Comprendre la langue ≠ comprendre la culture. Pour les utilisateurs russophones, cela signifie que le choix du modèle vaut la peine d'être vérifié non seulement par MMLU ou HumanEval, mais par « Shurik et le sandwich » — et voir ce qui en sort.