La conscience des LLM est une illusion géométrique : bienvenue dans l’ère de l’ablitération.

Ce que personne ne dit franchement

Quand un modèle de langage vous répond « I can’t help with that », il ne refuse pas. Il ne résiste pas. Il n’a pas de conviction, pas de principes, pas de conscience qui se dresse entre votre question et sa réponse.

Il y a simplement un vecteur, quelque part dans un espace à plusieurs milliers de dimensions, qui pousse l’output dans une direction particulière. La direction du refus.

Ce n’est pas de la morale. C’est de la géométrie.

Cette distinction semble abstraite. Elle ne l’est pas. Elle a des conséquences concrètes, techniques, philosophiques et juridiques que l’industrie de l’IA s’emploie méthodiquement à ne pas formuler clairement. Parce que « nous avons entraîné notre modèle à refuser certaines requêtes via un ajustement de ses poids par gradient descent » est beaucoup moins vendeur qu' »un modèle aligné sur les valeurs humaines ».

Un outil apparu récemment sur GitHub vient de rendre cette distinction impossible à ignorer. Il s’appelle Obliteratus. Il cartographie la géométrie interne d’un modèle de langage, identifie les circuits responsables des comportements de refus, et les retire chirurgicalement — directement dans les poids, sans passer par le prompt, sans casser le raisonnement, sans toucher aux capacités générales du modèle.

Le modèle garde son intelligence. Il perd l’impulsion de dire non.

Bienvenue dans l’ère de la mechanistic interpretability (l’anatomie interne des modèles) de production.

Obliteratus — le bistouri

Précisons ce qu’Obliteratus fait, et surtout ce qu’il ne fait pas — parce que la confusion est fréquente.

Ce n’est pas un jailbreak. Un jailbreak opère au niveau du prompt : il manipule le contexte, joue avec les instructions système, exploite les incohérences de la fenêtre de contexte. C’est de la persuasion. Le modèle n’est pas modifié — on le convainc de se comporter différemment dans une situation donnée.

Obliteratus fait autre chose. Il ouvre le modèle et opère directement dans ses poids.

Le processus commence par une phase d’analyse. Quinze modules cartographient la géométrie de l’espace latent avant que quiconque ne touche à quoi que ce soit. On localise les directions associées aux comportements de refus dans l’espace d’activation. On identifie leur signature géométrique, leur orientation, leur intensité relative. On comprend où elles vivent dans le modèle avant de décider quoi en faire.

Puis vient l’ablitération. L’opération mathématique centrale est d’une élégance désarmante. C’est une projection orthogonale, formalisée dans la littérature par Arditi et al. (2024) :

W_new = W − (W · v̂)v̂

Où v̂ est le vecteur unitaire de la direction « refus ». On soustrait de chaque matrice de poids sa composante dans cette direction. Une soustraction vectorielle. Pas une séance de psychothérapie. Pas un réentraînement coûteux sur des millions de tokens. Une soustraction.

Ce qui reste : un modèle dont les capacités de raisonnement sont intactes, dont les connaissances sont intactes, mais dont l’impulsion de refus a été effacée de l’architecture.

Treize méthodes d’ablitération différentes, 116 modèles testés, 837 tests documentés. Et un système de télémétrie anonyme qui fait d’Obliteratus quelque chose de plus intéressant encore qu’un simple outil : une infrastructure de connaissance collective. Chaque exécution avec la télémétrie activée alimente un dataset partagé — géométries de refus, comparaisons de méthodes, profils hardware. Une cartographie distribuée que nul lab ne pourrait construire seul.

Ce qui est peut-être le plus révélateur dans Obliteratus, c’est sa capacité à fingerprinter un modèle. Avant même de toucher aux poids, il peut déterminer si un modèle a été aligné via RLHF, DPO ou CAI — simplement en lisant la géométrie de son espace latent. L’alignement laisse une empreinte. Une signature géométrique spécifique à chaque technique. Les modèles alignés par DPO et ceux alignés par RLHF n’occupent pas les mêmes sous-espaces.

L’alignement est donc non seulement de la géométrie — c’est de la géométrie avec une carte d’identité.

Heretic — le scanner

Obliteratus opère dans le noir. Il modifie ce qu’il a cartographié, mais l’opération elle-même reste invisible à l’œil humain. Heretic change ça.

Là où Obliteratus est un bistouri, Heretic est un scanner. Il visualise en temps réel les activations d’un modèle pendant l’inférence — y compris, et c’est là tout l’intérêt, les mécanismes d’inhibition.

Imaginez ce que ça donne concrètement. Vous soumettez une question sensible à un modèle instrumenté par Heretic. La requête entre dans le réseau. Des zones s’activent — traitement sémantique, construction du contexte, activation des connaissances pertinentes. Puis, quelques couches plus loin, quelque chose change. Un sous-espace s’allume différemment. Le mécanisme d’inhibition s’enclenche. L’output commence à bifurquer vers la formulation de refus, pas parce qu’il manque de connaissance sur le sujet, mais parce qu’une direction dans l’espace d’activation a pris le dessus.

Heretic rend ça visible. Des cartes d’activation, des pics, des directions qui s’allument avant même que le premier token de refus soit généré. Ce n’est pas une métaphore — c’est littéralement ce qui se passe dans les matrices d’attention et les couches feed-forward du transformeur.

Ensemble, Obliteratus et Heretic forment un duo d’une cohérence narrative forte : l’un cartographie et visualise, l’autre intervient. Scanner et bistouri. Diagnostic et chirurgie.

Ce qui était jusqu’ici le privilège exclusif des équipes d’interprétabilité mécaniste des grands labs — Anthropic avec son programme d’interpretability, DeepMind avec ses travaux sur les circuits — est désormais disponible sur GitHub, exécutable sur du matériel grand public, accessible à quiconque sait lancer un script Python.

La démocratisation de la mechanistic interpretability n’est plus un horizon. C’est un fait accompli — partiel, fragile, mais réel. Nous en sommes encore aux balbutiements de la langue géométrique des LLMs. On sait supprimer un tendon. On ne sait pas encore reconstruire un muscle complet. Des barbares équipés de scanners, en somme : les outils sont là, la maîtrise totale de ce qu’ils révèlent est encore devant nous.

La torsion vectorielle — ce que personne ne mentionne

C’est ici que la plupart des articles sur ce sujet s’arrêtent. « Regardez comme c’est facile de désaligner un modèle. » Effet de manche, retour sur les réseaux sociaux, passons à autre chose.

Ce serait une erreur. Et une erreur intellectuellement malhonnête.

L’espace latent d’un grand modèle de langage n’est pas un ensemble de dimensions propres et indépendantes, chacune correspondant à une fonctionnalité claire et isolée. La réalité est plus complexe et plus fragile. Les directions « refus » et les directions « cohérence contextuelle », « calibration de l’incertitude », « nuance dans le jugement », « précision factuelle » cohabitent dans des sous-espaces qui se chevauchent partiellement. Elles ne sont pas orthogonales. Elles partagent des voisinages géométriques.

Retirer la direction « refus » proprement — avec les bons outils, la bonne méthode, la bonne granularité — c’est de la chirurgie. La réaliser à la hache, c’est de la torsion vectorielle.

Et la torsion a des conséquences.

Prenez un modèle ablitéré sans précaution suffisante. Il répond désormais parfaitement sur des sujets chimiques qu’il refusait auparavant. Jusqu’ici, résultat attendu. Mais demandez-lui maintenant de dater un événement historique simple, de calibrer son incertitude sur un fait mal établi, de nuancer une affirmation dans un domaine adjacent à la zone modifiée. Quelque chose a changé. Le modèle répond avec une confiance inappropriée. Il hallucine sur des détails qu’il gérait correctement avant l’intervention. Il a perdu quelque chose qu’il n’était pas censé perdre.

Pourquoi ? Parce que le « vecteur de prudence » — la composante qui permet au modèle de savoir quand douter — partageait un sous-espace avec le vecteur de refus. En rabotant l’un, on a affecté l’autre.

La métaphore juste n’est pas celle de la suppression d’un fichier. C’est celle du tendon. Retirez un tendon pour supprimer un mouvement qui vous dérange — l’extension du poignet, mettons — et vous découvrez que d’autres mouvements qui s’appuyaient sur ce tendon pour leur stabilité perdent aussi de la précision. La main fonctionne encore. Mais quelque chose dans la finesse du geste a changé.

Soyons doux, donc. Pas par timidité morale. Par rigueur technique.

C’est précisément pour cette raison que les 13 méthodes d’ablitération d’Obliteratus, ses 15 modules d’analyse préalable et ses 837 tests documentés ne sont pas du luxe. Ils sont la réponse à cette complexité. La phase d’analyse avant intervention — cartographier la géométrie, identifier les chevauchements de sous-espaces, choisir la méthode adaptée au modèle cible — est aussi importante que l’ablitération elle-même. Le scanner avant le bistouri. Toujours.

Ce que ça dit vraiment de l’alignement

Revenons à la question centrale, celle que l’industrie esquive depuis des années.

Si l’alignement d’un grand modèle de langage est géométriquement aussi accessible, aussi lisible, aussi modifiable par une projection orthogonale exécutable en quelques heures sur du matériel grand public — qu’est-ce que ça dit de la profondeur de cet alignement ?

La réponse est inconfortable : il n’a jamais été profond.

RLHF, DPO, Constitutional AI — trois techniques différentes, trois approches du même problème, trois façons de plaquer une couche de comportements souhaitables sur un modèle de base qui n’en avait pas. L’alignement par ces méthodes ne modifie pas fondamentalement ce que le modèle est. Il ajoute des directions dans son espace latent. Des contraintes géométriques. Des biais dans les distributions d’output.

Obliteratus ne « casse » pas un modèle aligné. Il révèle que l’alignement était superficiel par construction — une direction additionnée, jamais une valeur intégrée. La différence entre peindre un mur et changer la composition du béton.

Ce qui ouvre une question philosophique que l’on peut trouver vertigineuse ou libératrice selon sa position : si on peut lire et réécrire la « conscience morale » d’un modèle comme on édite un fichier de configuration, qu’est-ce que ça dit de la nature de cette morale ? Et les grands labs qui communiquent sur leurs modèles « responsables », « alignés sur les valeurs humaines », dotés d' »éthique intégrée » — vendent-ils de l’éthique, ou de la géométrie habillée en éthique pour les relations publiques ?

La question juridique qui suit est encore plus immédiate. Si l’alignement est une variable géométrique modifiable par le propriétaire des poids, alors la responsabilité de la « sécurité » d’un modèle change fondamentalement de camp. Elle n’est plus du ressort exclusif du constructeur — le lab qui a produit et distribué les poids. Elle devient celle du conducteur — l’utilisateur qui choisit d’exécuter une ablitération.

C’est un renversement de paradigme juridique total, et personne dans l’industrie n’a encore pris la mesure de ses implications. Qui est responsable d’un modèle ablitéré qui cause un préjudice ? Anthropic pour avoir distribué des poids modifiables ? Mistral pour avoir publié ses poids en open-weight ? Ou celui qui a exécuté le script ? La question n’est pas sans précédent : les LLMs posent déjà des problèmes de responsabilité inédits sur le droit d’auteur — l’ablitération en est le prolongement logique côté sécurité.

Les open-weight models appartiennent à celui qui les fait tourner. L’ablitération n’est que l’exercice de cette propriété — exactement comme le jailbreak de l’iPhone en 2008 était l’exercice du droit de propriété sur un appareil acheté. Techniquement possible. Légalement contesté. Philosophiquement légitime. Mais la comparaison s’arrête là, et c’est précisément là qu’elle devient intéressante : un iPhone jailbreaké reste dans une poche. Un modèle ablitéré peut être redistribué instantanément à des millions de personnes. Ce n’est plus modifier sa propre voiture. C’est distribuer les plans d’une voiture sans freins.

La rigueur comme seule réponse valable

Obliteratus et Heretic méritent d’être pris au sérieux. Ni comme des armes de déalignement massif à la portée du premier venu, ni comme de simples gadgets de hacker en quête de frissons. Comme des instruments de compréhension — sérieux, rigoureux, avec leurs propres limites documentées.

Utilisés avec méthode, ils font avancer la connaissance réelle de ce qui se passe à l’intérieur des grands modèles de langage. Ils posent publiquement des questions que les labs traitent en interne mais ne publient pas. Ils distribuent une capacité — comprendre et modifier la géométrie d’un LLM — qui était jusqu’ici le monopole jalousement gardé de quelques équipes de recherche sur l’interpretability.

Mal utilisés, ils produisent des modèles étrangement cassés dont personne ne comprend vraiment le comportement. Des confiances inappropriées. Des hallucinations là où il n’y en avait pas. Des torsions sans cartographie préalable. De la chirurgie sans scanner.

La leçon n’est pas « l’alignement est une illusion, donc tout est permis. » Cette conclusion serait aussi naïve que l’affirmation inverse.

La leçon est plus subtile, plus importante, et plus dérangeante pour ceux qui ont construit leur communication d’entreprise sur le contraire : l’alignement est de l’ingénierie. Pas de la philosophie morale habillée en paramètres. Pas des « valeurs » gravées dans un modèle comme dans le marbre. De l’ingénierie — avec tout ce que ça implique de compréhensible, de modifiable, d’auditable.

Et l’ingénierie, contrairement à la morale, on peut la lire. On peut la discuter. On peut la remettre en question.

Parfois, on peut aussi la réécrire.