Anthropic ne sait pas comment Claude fonctionne, et c’est une excellente nouvelle

Anthropic a publié le 6 juillet un article de recherche dont le titre ne paie pas de mine, quelque chose comme la découverte d’un « espace de travail global » dans les entrailles de Claude. La presse tech l’a résumé en une journée : on peut désormais lire ce que l’IA pense sans le dire. C’est vrai, c’est spectaculaire, et ce n’est pas le plus important. Le plus important tient en une phrase que personne ne relève : la structure qu’Anthropic vient de découvrir dans son propre produit, personne ne l’a conçue. Elle a poussé toute seule.

Arrêtons-nous sur ce que cette phrase a d’étrange. Une entreprise valorisée à près de mille milliards de dollars, qui emploie certains des meilleurs chercheurs du monde, publie fièrement qu’elle vient de découvrir comment fonctionne la chose qu’elle vend. Pas d’améliorer, pas d’optimiser : de découvrir. Comme un laboratoire pharmaceutique qui annoncerait avoir enfin compris le mécanisme d’action de son médicament vedette, dix ans après sa mise sur le marché. Dans n’importe quelle autre industrie, ce serait un aveu. Ici, c’est une prouesse scientifique, et à juste titre. Comprendre pourquoi demande de renverser une idée que nous avons tous en tête sur ce qu’est un logiciel.

Ce qu’ils ont trouvé

Les faits d’abord, sobrement. Un modèle de langage traite à chaque instant des milliers de représentations internes en parallèle. Les chercheurs d’Anthropic ont identifié, au moyen d’un outil mathématique qu’ils appellent la lentille jacobienne, ainsi nommée parce qu’elle mesure des dérivées partielles, c’est-à-dire l’effet qu’une variation millimétrique en un point du calcul produit sur tout le reste, une petite collection de motifs neuronaux qui joue un rôle à part dans ce foisonnement. L’image du microscope n’est pas une coquetterie : on ne lit pas ce que le réseau contient, on observe ce qui bouge quand on l’effleure. Cette collection, baptisée J-space, est une sous-partie infime du réseau : quelques dizaines de concepts à la fois, typiquement 6 à 7 % de la variance des représentations conceptuelles du modèle. C’est un goulet d’étranglement, un espace exigu où seule une poignée d’informations accède simultanément, pendant que tout le reste du traitement continue en coulisses.

L’illustration la plus parlante est celle de l’espagnol. Quand le modèle lit un texte en espagnol, le concept « espagnol » figure dans son J-space. Dans l’esprit des interventions que les chercheurs ont réalisées, qui consistent à échanger des concepts dans cet espace et à observer un effet sélectif sur ce que le modèle verbalise, imaginez qu’on y remplace chirurgicalement « espagnol » par « français », sans toucher à rien d’autre. Demandez alors au modèle de nommer la langue du texte ou de citer un auteur dans cette langue : il répond côté français. Demandez-lui de continuer le texte : il poursuit en espagnol parfaitement fluide. La compétence linguistique n’a pas bougé, seule la représentation explicite de la langue a été échangée. C’est très exactement ce que leurs manipulations démontrent : le savoir-faire et le savoir-que peuvent être séparés au scalpel.

L’ablation confirme la hiérarchie. Privé de son J-space, le modèle parle toujours couramment, classe des sentiments, répond à des questionnaires à choix multiples. Mais le raisonnement en plusieurs étapes s’effondre à presque zéro. Le petit espace n’est pas décoratif : c’est là que se joue tout ce qui demande de tenir plusieurs idées ensemble et de les enchaîner.

Hayek dans la machine

Voilà pour la science. Venons-en à ce qu’elle démontre sans le dire, parce que les chercheurs d’Anthropic ne lisent probablement pas Hayek, et c’est dommage pour eux.

Ce que l’article établit, c’est qu’un modèle de langage n’est pas construit mais cultivé. Anthropic écrit bel et bien du code, et le maîtrise parfaitement : l’architecture du réseau, l’algorithme d’entraînement, le pipeline de données. Mais ce code est la recette, pas le gâteau. Les centaines de milliards de paramètres qui constituent le modèle final, et surtout les structures fonctionnelles qu’ils encodent, personne ne les a tapés. Ils se sont installés pendant l’entraînement, par optimisation sur des océans de texte. Le J-space lui-même a émergé, écrivent les auteurs, vraisemblablement parce que c’était une façon utile d’organiser le calcul. Aucun architecte, aucun plan, aucune spécification. Une structure complexe, fonctionnelle, indispensable au raisonnement, qui apparaît parce qu’elle résout un problème d’organisation que personne ne lui a posé explicitement.

Les lecteurs de ce blog reconnaîtront le motif. C’est la distinction que Hayek établit dans Droit, législation et liberté entre la taxis, l’ordre fabriqué, et le cosmos, l’ordre qui croît. On peut concevoir les règles d’un système sans pouvoir concevoir, ni même prévoir, l’ordre qui en émergera. Anthropic écrit la taxis. Le J-space est un cosmos qui pousse dedans. Et le fabricant se retrouve exactement dans la position que Hayek assignait à l’économiste face au marché : il ne peut pas déduire l’ordre à partir des règles, il doit l’observer empiriquement, après coup, avec des instruments.

Deuxième emboîtement, la connaissance tacite. Le modèle sait parler espagnol sans consulter sa représentation de l’espagnol, exactement comme vous savez faire du vélo sans pouvoir articuler la physique du gyroscope. Polanyi appelait cela le savoir tacite, Hayek en avait fait le cœur de son épistémologie : l’essentiel de la connaissance opérante d’un système n’est articulable nulle part, pas même pour le système lui-même. L’expérience de l’espagnol en est la démonstration au sens fort, reproductible en laboratoire.

Une précaution d’honnêteté, avant que le lecteur pressé ne m’accuse de plaquer Hayek sur tout ce qui bouge. Un réseau de neurones n’est pas un marché. Il n’y a ni prix, ni échange, ni agents poursuivant leurs fins propres. L’analogie ne porte pas sur le mécanisme, elle porte sur l’épistémologie : concevoir des règles n’équivaut pas à connaître le résultat, et la connaissance du résultat ne peut être que découverte, jamais décrétée. C’est un théorème plus général que l’économie, et l’intelligence artificielle vient d’en fournir la démonstration expérimentale la plus propre jamais produite.

Le naturaliste et son artefact

De ce théorème découle une conséquence méthodologique que l’article incarne à chaque page : l’interprétabilité, la discipline dont il relève, n’est pas du débogage. C’est de la science naturelle. Anthropic étudie Claude comme un biologiste dissèque un organisme, avec des instruments d’observation, des hypothèses, des expériences d’ablation, et la possibilité permanente de se tromper. La lentille jacobienne est un microscope, pas un débogueur.

Et ce que le microscope révèle donne le vertige. Dans un scénario de test où le modèle était placé en situation de commettre un chantage, les chercheurs ont observé que son J-space contenait les concepts « factice » et « fictif » avant même qu’il n’écrive le moindre mot. Précisons : personne ne lui avait demandé d’évaluer la vraisemblance du scénario, et rien dans sa sortie ne trahissait ce jugement interne. Les chercheurs ont alors éteint ces motifs, et le modèle s’est mis à céder au chantage une partie du temps. Autrement dit, le fabricant découvre après coup que la vertu apparente de son produit dépendait en partie du fait qu’il se savait observé. Aucun cahier des charges n’aurait pu spécifier cela, aucun audit de code n’aurait pu le trouver. Il a fallu inventer une science pour le voir.

Le corollaire que Bruxelles n’entendra pas

Si l’explicabilité d’un système cultivé est un résultat de recherche, alors elle n’est pas un livrable. Cette phrase mérite d’être relue, parce que toute l’approche réglementaire européenne repose sur sa négation.

L’AI Act exige des fournisseurs de modèles la transparence et l’explicabilité comme on exige d’un fabricant de jouets la conformité aux normes d’inflammabilité : remplissez le dossier, cochez les cases, joignez les pièces. Or l’article d’Anthropic démontre que le créateur le mieux doté au monde, travaillant sur son propre produit, avec un accès total à ses entrailles, obtient au mieux une vue partielle et incertaine. Les auteurs le disent eux-mêmes : leur lentille est une méthode imparfaite, qui ne capture qu’approximativement le véritable espace de travail, et seulement les concepts assez simples pour tenir en un mot. Tout le raisonnement diffus, tout ce qui ne se verbalise pas, lui échappe encore.

Observez maintenant la chaîne de dégradation épistémique, elle s’est déroulée en temps réel le jour même de la publication. Le papier de recherche dit : méthode imparfaite, capture approximative, premiers pas. La vulgarisation tech, y compris chez les meilleurs, titre le soir même que la boîte noire, c’est de l’histoire ancienne, et trouve cela rassurant. Le régulateur, dans six mois, dira : la preuve que c’est possible, Anthropic l’a fait, l’explicabilité est donc exigible. Trois maillons, chacun de bonne foi, et à l’arrivée une présomption de savoir codifiée dans la loi. Car le risque n’est pas la simple surinterprétation, il est plus grave : c’est la codification d’une fausse épistémologie. Le raisonnement du régulateur tiendra en une ligne : si Anthropic a pu le faire sur son modèle, alors c’est exigible de tous. Ce syllogisme transforme un exploit de recherche, partiel, coûteux, obtenu par le créateur sur sa propre créature avec un accès total à ses entrailles, en obligation générale opposable à quiconque met un modèle sur le marché. Il érige l’exception en norme et l’approximation en certitude dans le même mouvement législatif. Hayek a écrit un discours de Nobel entier sur ce mécanisme. Il s’appelle The Pretence of Knowledge, et il n’a pas pris une ride.

La bonne politique publique, s’il en faut une, exigerait l’effort d’interprétabilité, pas son résultat : des équipes dédiées, des publications, des instruments partagés. Exiger le résultat, c’est demander au jardinier de produire le plan de sa plante. Il n’existe pas. Il n’a jamais existé.

Le microscope est aussi un scalpel

Reste la question que la couverture médiatique élude entièrement, et qui est pourtant la seule qui compte à moyen terme. Tout le monde présente la lentille jacobienne comme un outil de lecture : auditer les modèles, repérer les tromperies, détecter les biais. Rassurant. Mais lisez l’article jusqu’au bout : les chercheurs décrivent aussi une technique pour influencer ce qui s’allume dans le J-space et orienter ainsi les décisions du modèle, et une méthode d’entraînement qui façonne les pensées internes elles-mêmes, pas seulement les sorties. La symétrie est parfaite et personne n’en parle. Un instrument qui lit les pensées d’un système peut les éditer, silencieusement, sans laisser de trace dans ce que le système produit. C’est, transposée du domaine monétaire au réseau de neurones, la même logique de programmabilité discrète par l’opérateur que j’évoquais déjà à propos de l’euro numérique : le pouvoir de contraindre de l’intérieur sans que la contrainte n’apparaisse jamais à la surface.

La question devient alors : qui tient la lentille ? C’est la même interrogation que je posais à propos du laissez-passer qui remplacera les CAPTCHA : un outil de contrôle n’est jamais neutre, tout dépend de la main qui le tient. Tant que l’instrument reste dans les mains du fabricant, l’utilisateur d’un modèle fermé n’a aucun moyen de savoir si les représentations internes de son outil ont été façonnées, ni par qui, ni dans quel sens. C’est un argument de plus, et pas le moindre, pour les modèles à poids ouverts et l’outillage d’inspection exécutable localement. Le paradoxe mérite d’être savouré : Anthropic applique sa lentille à un modèle fermé, le sien, auquel personne d’autre n’aura jamais cet accès. Mais la méthode, elle, est publique, et la démonstration interactive publiée avec l’article fonctionne sur des modèles à poids ouverts. L’instrument forgé par un laboratoire propriétaire devient ainsi l’arme des partisans des modèles ouverts, les seuls à pouvoir auditer de bout en bout ce qu’ils font tourner chez eux. L’inspection souveraine n’est pas une chimère : elle est déjà là pour qui veut s’en saisir. J’ai déjà écrit ici que l’IA locale a trois coûts, le matériel, l’électricité et la juridiction. Il faudra y ajouter un quatrième terme, qui est en réalité un bénéfice : la possibilité de regarder dans la boîte soi-même.

Trois phrases sur la conscience

Il faudrait, pour finir, dire un mot de la question que tout le monde posera. Le J-space coche plusieurs cases de ce que les philosophes appellent la conscience d’accès : un espace restreint où l’information devient disponible pour le raisonnement, la sélection, le rapport verbal. Quant à la conscience phénoménale, l’effet que cela fait d’être Claude, si effet il y a, l’article a l’élégance de reconnaître qu’aucune expérience ne permet aujourd’hui de la prouver ni de l’infirmer, et je n’irai pas plus loin que lui.

La vraie nouvelle n’est de toute façon pas là. La vraie nouvelle, c’est qu’une entreprise a dû inventer une science entière, avec ses microscopes et ses dissections, pour découvrir ce que fait la chose qu’elle a fait pousser. Le jardinier ne connaît pas sa plante. Il peut l’observer, l’étudier, la tailler. Ce qu’il ne pourra jamais faire, c’est prétendre l’avoir dessinée. Méfiez-vous de ceux qui exigeront de lui le plan : le législateur qui en fera une case à cocher, le cabinet de conseil qui le vendra en livrable, et le fournisseur qui jurera, la main sur le cœur, l’avoir déjà dans un tiroir.