Programmes et probabilités
Trois choses qui surprennent la plupart des gens
Premièrement : si vous posez deux fois la même question à un modèle de langue, vous obtenez souvent deux réponses différentes. Une calculatrice ne fait jamais cela. Ce n'est pas un défaut, mais une intention.
Deuxièmement : personne n'a appris à une IA ce qu'est un chat. Il n'existe aucune ligne de code disant « chat = quatre pattes, fourrure, moustaches ». Il n'y a que des nombres qui se sont déplacés à force de regarder beaucoup d'images.
Troisièmement : ce que l'on vend aujourd'hui comme la pensée des machines est au fond de la statistique du XVIIIe siècle, exécutée sur du matériel très rapide.
Comment programme-t-on d'ordinaire ?
Les programmes classiques sont faits de règles qu'un être humain a écrites. Un programme fiscal calcule : « Si le revenu dépasse ce montant, applique tel taux. » Une commande de feux de circulation commute selon un horaire. Ce sont des automates au sens de Turing, tels que les décrit le chapitre précédent : lire un signe, consulter la table, poursuivre.
Cette manière de programmer fonctionne à merveille tant que l'on connaît les règles. Et c'est précisément là que se situe le problème.
La question : comment écrire une règle pour « chat » ?
Essayez. Quatre pattes ? Un matou à trois pattes reste un chat. De la fourrure ? Pas chez toutes les races. Des moustaches ? Les phoques en ont aussi. Chaque règle que vous écrivez a des exceptions, et chaque exception a de nouveau des exceptions.
Il en va de même pour presque tout ce que les humains font sans effort : reconnaître un visage, comprendre une plaisanterie, lire une écriture manuscrite, distinguer les prospectus du vrai courrier. Nous maîtrisons ces choses, mais nous ne pouvons pas dire selon quelles règles nous les maîtrisons. Le chimiste et philosophe Michael Polanyi appelait cela le « savoir tacite » : nous savons plus que nous ne savons dire.1
Quand la règle ne se laisse pas écrire, la programmation classique est au bout de son latin. On retourne donc le problème.
La réponse : ne pas prescrire des règles, mais compter des fréquences
Au lieu de dire ce qu'est un chat, on montre au programme cent mille images étiquetées « chat » et cent mille sans. Le programme cherche lui-même des motifs qui coïncident statistiquement avec le mot. À la fin, il ne dit pas « c'est un chat », mais « chat avec 94 pour cent de probabilité ».
Voilà la véritable rupture. Un programme classique répond oui ou non. Un programme qui apprend répond par un nombre entre zéro et un. Il ne sait rien, il estime.
Cette façon de penser est ancienne. Au XVIIIe siècle, Thomas Bayes a formulé la règle qui permet d'ajuster une conjecture dès que de nouveaux indices arrivent.2 C'est exactement ce que fait l'apprentissage automatique : il part de conjectures aléatoires et les corrige des millions de fois sur des exemples. L'intelligence artificielle et la statistique ne sont pas des disciplines voisines, ce sont sur de larges portions la même discipline avec un marketing différent.
Théorie et pratique : le filtre antispam
Le filtre antispam est le plus bel exemple, parce qu'on peut le percer à jour de bout en bout.
Il compte tout simplement combien de fois un mot apparaît dans les courriers publicitaires et combien de fois dans le courrier normal. Si « notification de gain » figure dans 4000 messages indésirables et dans trois messages authentiques, le mot est un indice fort. Le filtre combine les indices de tous les mots d'un message en une probabilité. Si celle-ci dépasse un seuil, le message part dans le dossier des indésirables.
Personne n'a jamais programmé la règle « les messages contenant notification de gain sont des spams ». Elle est née de votre propre comportement, chaque fois que vous avez cliqué sur « marquer comme indésirable ».
Les limites y sont tout aussi visibles que le principe : le filtre ne comprend pas un seul mot. Il peut se tromper, et il se trompe. Il se dégrade dès que les spammeurs changent de langage. Et il n'est jamais meilleur que les exemples dont il a appris.
Ce qui en découle
Les grands modèles de langue ne travaillent pas fondamentalement autrement que ce filtre, seulement à une tout autre échelle. Ils estiment quel mot est probable ensuite, puis en choisissent un parmi les candidats plausibles. C'est pourquoi vous obtenez deux fois des réponses différentes. C'est pourquoi de tels systèmes inventent parfois des sources : une source inventée paraît statistiquement tout aussi plausible qu'une vraie.
Qui garde cela en tête lit autrement chaque affirmation sur l'IA. Non pas « la machine a reconnu », mais « la machine le tient pour probable ».