« Tu es un expert en programmation Python. » Des centaines de millions d’utilisateurs de ChatGPT, Claude ou Gemini commencent leurs requêtes par une variante de cette phrase. Forums Reddit, tutoriels YouTube, guides d’entreprise : le « persona prompting » est devenu le réflexe numéro un pour tirer le meilleur d’une intelligence artificielle. Une étude publiée le 19 mars par l’Université de Californie du Sud (USC) démontre l’inverse : sur les tâches qui exigent des faits, cette technique dégrade les performances du modèle.
3,6 points de précision en moins sur un test de référence
L’équipe de Zizhao Hu, doctorant à l’USC, a mesuré l’effet du persona prompting sur le benchmark MMLU (Measuring Massive Multitask Language Understanding), un test standardisé qui évalue les connaissances des grands modèles de langage à travers 57 domaines : mathématiques, histoire, droit, physique, informatique. Le résultat ne prête pas à l’ambiguïté. Quand on demande au modèle d’incarner un expert, sa précision chute de 71,6 % à 68,0 %. Le recul est cohérent sur les quatre catégories du test, comme le détaille l’article publié en pré-impression sur arXiv.
La baisse peut sembler modeste en valeur absolue. Elle touche pourtant les tâches où les utilisateurs espèrent justement un gain : résolution de problèmes, génération de code, questions factuelles. Le fameux « Tu es un expert » produit l’effet exactement opposé à celui recherché.
Le piège du mode « obéissance »
L’explication tient à l’architecture même des grands modèles de langage. Quand un LLM (pour « Large Language Model », ces programmes capables de générer du texte) reçoit un prompt de persona, il bascule dans ce que les chercheurs appellent un mode d’instruction-following. Concrètement, il consacre davantage de capacité à respecter le rôle demandé, le ton, le format, la structure, et en consacre moins à retrouver les informations enfouies dans ses données d’entraînement.
Dire à ChatGPT « Tu es un développeur senior spécialiste de React » ne lui injecte aucune connaissance supplémentaire. Il ne télécharge pas de nouvelles librairies, ne lit pas de documentation. Il active simplement un mode conversationnel qui imite le comportement attendu d’un expert, au détriment du rappel factuel pur. Comme le résume The Register, qui a interviewé les auteurs de l’étude : « Telling a model it’s an expert does not actually impart any expertise. »
L’analogie la plus parlante serait celle d’un étudiant à qui l’on demanderait de jouer le rôle d’un professeur pendant un examen. Il soignerait sa posture et son vocabulaire, mais ses connaissances resteraient exactement les mêmes. Sauf qu’en se concentrant sur le jeu d’acteur, il perdrait du temps sur les réponses.
Quand le persona fonctionne vraiment
L’étude ne condamne pas la technique en bloc. Sur les tâches dites « d’alignement », l’écriture, le respect de consignes, la sécurité, le persona prompting apporte un bénéfice mesurable. Un exemple chiffré : un persona dédié « Safety Monitor » a fait bondir le taux de refus d’attaques par jailbreak de 53,2 % à 70,9 % sur le benchmark JailbreakBench, soit une progression de 17,7 points de pourcentage.
Ce résultat s’explique par la nature de ces tâches. Rédiger un texte dans un style précis ou refuser une demande dangereuse relèvent du comportement, pas de la connaissance. Le persona oriente la manière de répondre sans avoir besoin de puiser dans les données factuelles brutes. Le « jeu de rôle » fonctionne parce que la performance dépend de l’attitude, pas de l’exactitude.
La recherche recoupe des travaux plus anciens. En 2023, une étude présentée à NeurIPS, la conférence de référence en apprentissage automatique, avait déjà montré que des LLM incarnant un expert en oiseaux décrivaient mieux les oiseaux qu’un modèle jouant un expert en voitures. Mais les auteurs, affiliés à plusieurs universités européennes, avaient aussi mis en évidence des biais : un modèle invité à « être un homme » décrivait mieux les voitures qu’un modèle invité à « être une femme ». Les gains étaient cantonnés à la qualité descriptive, jamais à la précision factuelle.
Une micro-industrie bâtie sur une prémisse fragile
ChatGPT revendique plus de 400 millions d’utilisateurs actifs par semaine en 2026, selon les chiffres d’OpenAI. Une partie non négligeable d’entre eux suit les « prompt guides » qui circulent massivement en ligne. Sur Reddit, un seul post intitulé « Ultimate Claude SKILL.md » cumule des milliers de votes et recommande de systématiquement démarrer chaque conversation par un persona d’expert. Le principe est identique sur les forums dédiés à Gemini et Copilot.
Ce réflexe s’est enraciné dans les pratiques professionnelles. Des équipes de développement structurent leurs fichiers de configuration IA autour de phrases comme « You are a senior engineer specialized in… ». Des consultants en prompt engineering facturent des ateliers pour enseigner la technique. Toute une économie repose sur une prémisse que la science remet désormais en cause.
Le conseil des chercheurs est limpide. Zizhao Hu résume à The Register : « Quand vous cherchez de la précision et des faits, n’ajoutez rien, envoyez directement votre question. Quand vous voulez cadrer un style, des règles ou un format, le persona reste utile. » La nuance tient en une phrase : comportement oui, connaissance non.
PRISM, la piste pour ne plus avoir à choisir
Plutôt que de jeter le persona, les chercheurs de l’USC proposent une solution technique baptisée PRISM (Persona Routing via Intent-based Self-Modeling). Le principe : un adaptateur léger greffé sur le modèle détecte automatiquement si la requête porte sur un fait (maths, code, date historique) ou sur un comportement (style, sécurité, format de réponse). Dans le premier cas, il désactive le persona et laisse le modèle brut répondre. Dans le second, il active le persona pour une réponse mieux cadrée.
PRISM s’appuie sur un mécanisme de LoRA (Low-Rank Adaptation), une technique qui modifie une fraction minime des paramètres du modèle sans le réécrire entièrement. L’outil fonctionne sans données externes et ajoute un surcoût minimal en mémoire et en calcul, selon les auteurs de l’article. Il n’est pas encore intégré dans les chatbots grand public, mais il illustre une tendance de fond dans la recherche : plutôt que d’appliquer une recette universelle, adapter dynamiquement le comportement du modèle à chaque requête.
En attendant PRISM ou ses équivalents commerciaux, la règle tient en une phrase : si vous posez une question factuelle, posez-la directement. Si vous voulez un certain ton ou format, précisez-le. Le pire des deux mondes, c’est de mélanger les deux en croyant que l’un renforce l’autre. Les modèles de langage ne deviennent pas plus compétents parce qu’on leur dit qu’ils le sont. Ils deviennent plus conformistes. Et la conformité, en maths comme en code, n’a jamais remplacé la rigueur.
