Détecteurs de texte IA : l’outil qui n’aurait jamais dû exister

Des universités sanctionnent des étudiants sur la foi d’un score produit par un algorithme que ses propres créateurs déconseillent d’utiliser comme preuve. Des professeurs brandissent des pourcentages comme s’ils étaient des aveux. Des mémoires sont annulés. Des carrières abîmées.

Ce n’est pas un problème de seuil mal calibré. Ce n’est pas un problème de modèle pas encore assez bon. C’est une erreur de principe, et elle repose sur une incompréhension totale de ce qu’est un modèle de langage.

Ce que personne ne dit franchement dans les salles de conseil disciplinaire

Un détecteur de texte IA est un classificateur binaire. Son travail : étant donné un texte T, décider s’il vient d’un humain ou d’une machine. En apparence, le problème est raisonnable. En pratique, il est insoluble.

Pour qu’un classificateur binaire fonctionne, il faut que les deux classes qu’il cherche à séparer soient statistiquement distinctes. C’est la condition de base. Pas suffisante, nécessaire.

Or les LLMs sont entraînés précisément pour que cette condition ne soit jamais remplie.

La divergence KL : l’objectif qui rend la détection impossible

Quand on entraîne un grand modèle de langage, l’objectif est de minimiser la divergence de Kullback-Leibler entre la distribution du modèle et celle du texte humain :

D_KL(P_humain ‖ P_IA) → 0

Traduction non-mathématique : on entraîne le modèle à produire des textes dont la distribution statistique est identique à celle d’un humain compétent. C’est d’ailleurs sur ce corpus humain massif (et largement sans consentement) que repose cet entraînement, comme je l’ai détaillé dans LLM : l’ultime machine à blanchir le droit d’auteur. C’est la définition du succès. Un LLM parfait produirait des textes indiscernables : pas à l’œil nu, pas non plus par aucune méthode statistique, parce que leurs distributions seraient par construction les mêmes.

Un détecteur de texte IA cherche donc à séparer deux distributions dont l’objectif explicite d’entraînement est qu’elles convergent. C’est structurellement absurde, et ça empire à mesure que les modèles progressent. J’ai déjà exploré la géométrie interne des LLMs : ce qu’on prend pour de l’intelligence ou de la conscience n’est que de la distance vectorielle. La détection statistique se heurte exactement au même mur.

Antoun, Mouilleron, Sagot & Seddah l’ont documenté rigoureusement dans une étude présentée à JEPTALNRECITAL 2023, conférence francophone de référence en traitement automatique des langues : les détecteurs existants affichent des performances correctes dans leur domaine d’entraînement, mais s’effondrent dès qu’on change de style ou de contexte. Ils sont vulnérables aux attaques les plus triviales, fortement dépendants du registre didactique, et leur conclusion est explicite : prudence extrême pour toute application réelle. Traduction institutionnelle : inutilisables pour sanctionner quiconque.

Le watermarking : la seule piste sérieuse, et pourquoi elle ne change rien pour les universités

Les défenseurs de la détection auront un argument en réserve : et le watermarking ? Des approches comme SynthID de Google DeepMind ne reposent pas sur la statistique de surface. Elles insèrent un signal cryptographique directement dans le processus de génération : une sorte de signature invisible dans les probabilités de sélection des tokens. C’est une idée radicalement différente, et intellectuellement honnête.

Sauf que Google lui-même documente la limite centrale : le signal s’effondre dès qu’on reformule le texte. Une retranslation, un paraphrasage, et la détection tombe à des niveaux proches du bruit aléatoire. Des chercheurs de l’ETH Zurich ont montré en 2024 que des adversaires peu sophistiqués peuvent supprimer le watermark de SynthID avec des taux de succès dépassant 90 %.

Mais le problème fondamental est ailleurs : le watermarking ne fonctionne que si le texte n’a pas été retouché, et seulement pour les modèles qui ont intégré le système. Un étudiant qui utilise un LLM tiers, ou qui réécrit simplement le texte produit, est totalement invisible. Le watermarking est une solution au problème de la provenance à grande échelle, pas un outil de surveillance pédagogique. L’utiliser comme tel reviendrait à condamner l’absence de signature, pas la présence d’une fraude.

La détection ex-post reste une chimère. Qu’elle soit statistique ou cryptographique.

Ce que mesurent ces outils, et pourquoi c’est un problème

Les deux métriques dominantes dans ces détecteurs :

La perplexité. Un texte à faible perplexité est un texte prévisible, dont les tokens s’enchaînent selon des probabilités élevées. L’idée : les LLMs écriraient des textes « trop lisses ». Sauf qu’un juriste, un ingénieur, un biologiste (quiconque écrit dans un registre technique codifié) produit exactement le même profil. La précision et la clarté sont des vertus académiques. Elles pénalisent sur ces outils.

La « burstiness ». Les humains auraient une perplexité variable : phrases complexes mêlées de phrases courtes, alternance de registres. Les LLMs seraient plus uniformes. Encore une heuristique qui s’effondre dès qu’on sort du texte informel, et qui pénalise systématiquement les auteurs non-natifs, dont l’écriture est naturellement plus homogène.

Dans les deux cas, ce qu’on mesure n’est pas l’origine du texte. C’est son style. Et punir un style, c’est exactement ce qu’une institution académique ne devrait jamais faire.

Le faux positif a un nom : accusation infondée de tricherie

Dans un classificateur binaire sur distributions chevauchantes, le taux de faux positifs n’est pas un détail technique : c’est le cœur du problème.

En contexte académique, un faux positif ne reste pas une erreur statistique abstraite. Il devient une convocation. Un dossier disciplinaire. Parfois une exclusion.

Les victimes les plus exposées sont prévisibles : les étudiants étrangers dont l’écriture académique est plus formelle et moins variable que celle d’un natif. Les étudiants en filières scientifiques ou juridiques dont le registre est par nature codifié. Les bons étudiants, tout simplement : ceux qui écrivent avec précision et clarté.

Des cas documentés existent aux États-Unis, au Royaume-Uni, en Australie : des mémoires annulés, des remises de diplômes bloquées, des recours épuisants, et dans plusieurs cas, des décisions finalement inversées après intervention humaine, parfois après des mois.

Des universités comme Vanderbilt ont désactivé le détecteur Turnitin dès 2023, après tests internes, notant au passage que même à un taux de faux positifs annoncé de 1 %, cela représentait 750 dossiers potentiellement erronés sur les 75 000 copies soumises annuellement. En Australie, l’Australian Catholic University a finalement suspendu l’outil après des signalements d’étudiants bloqués pendant des mois dans des procédures fondées uniquement sur un score algorithmique. GPTZero affiche des clauses de non-responsabilité en petits caractères. Personne dans les commissions disciplinaires ne les lit.

Le 20 juillet 2023, OpenAI a retiré son propre détecteur de texte IA (six mois après son lancement) en admettant publiquement un taux de détection correcte de 26 % seulement, avec 9 % de faux positifs sur des textes humains. Le fabricant des armes admet que son propre radar est aveugle. Les généraux continuent d’acheter des licences Turnitin.

Et pour ceux qui douteraient encore de la robustesse de ces systèmes : des études de 2024-2025 montrent qu’un simple paraphrasage, ou un prompt aussi trivial que « écris comme un étudiant non-natif », fait chuter le taux de détection sous les 20 %. L’outil ne protège donc pas contre la triche volontaire : il punit uniquement ceux qui n’ont pas pensé à contourner.

L’institution qui confond probabilité et preuve

Ce qui me frappe dans cette situation n’est pas la médiocrité de la technologie. C’est la désinvolture intellectuelle de ceux qui l’adoptent.

Des établissements qui se réclament de la rigueur scientifique utilisent un outil probabiliste comme s’il produisait des certitudes binaires. Un score de « 87% IA » n’est pas une preuve. C’est une estimation (sur des distributions qui se chevauchent) produite par un système dont les fabricants eux-mêmes ne garantissent pas la fiabilité dans un contexte disciplinaire.

Aucun tribunal n’accepterait une telle preuve. Aucun comité d’éthique de la recherche ne validerait une méthodologie avec ce taux d’erreur. Pourtant des jurys académiques, si.

En droit disciplinaire universitaire français, la sanction doit reposer sur des faits matériellement établis et respecter le principe du contradictoire. Or un détecteur IA est par définition une boîte noire : Turnitin ne publie pas sa méthodologie, ne documente pas ses seuils, et ses scores varient selon les versions. Comment l’étudiant peut-il contester un score dont il ne connaît ni l’origine ni le calcul ? La sanction fondée sur ce seul élément est juridiquement fragile, et un recours devant le CNESER ou le Conseil d’État sur ce fondement aurait de bonnes chances d’aboutir.

C’est de l’ignorance statistique institutionnalisée. Et elle a des victimes réelles.

Ce que l’université devrait faire

La vraie réponse à l’IA dans les contextes d’évaluation n’est pas de la traquer : c’est d’adapter les modalités. Oral, travaux en présence, suivi de processus, carnet de recherche, soutenance. Des réponses pédagogiques à un changement pédagogique.

La chasse aux sorcières algorithmique ne protège rien. Elle frappe au hasard, punit ceux qui écrivent bien, et donne bonne conscience à des institutions qui n’ont pas voulu faire le travail d’adaptation.

Un détecteur de texte IA n’est pas un outil en cours d’amélioration. C’est un outil dont le principe contredit la mécanique même des modèles qu’il prétend détecter. Le déployer pour sanctionner un étudiant, c’est condamner quelqu’un sur un tirage statistique défavorable.

Dans toute autre discipline, on appellerait ça une erreur de méthode. Dans un jury disciplinaire, on l’appelle une sanction.