Les IAs ne sont pas des perroquets stochastiques.
Les *LLMs* sont des perroquets stochastiques.
Et l'article fait une remarque trÚs intéressante : L'humain considÚre que le langage est *LA* marque de l'intelligence.
Donc quand une machine "parle" bien (les LLMs sont trĂšs fortes Ă ce jeu), on a naturellement tendance Ă penser que la machine *EST* intelligente et Ă lui attribuer des traits humains. Alors qu'elle n'est en rĂ©alitĂ© qu'un perroquet stochastique : Une machine qui pond statistiquement une suite de mot calculĂ©s Ă partir d'un ensemble de mots en entrĂ©e, sans rĂ©flexion et sans rien mĂȘme comprendre aux mots qu'elle utilise.
Essayons une autre analogie des LLMs:
Imaginez que vous ĂȘtes une machine. On vous a donnĂ© Ă bouffer *TOUS* les textes en Chinois existants au monde. Vous ne comprenez rien au Chinois, mais vous avez créé un gigantesque model statistique de l'enchaĂźnement des mots.
Quelqu'un vous soumet une question en chinois. C'est un enchaĂźnement de mots.
Vous utilisez votre modÚle statistique pour calculer la suite de mots la plus probable qui correspond aux mots en entrée.
Et vous répondez ces mots à la personne.
Notez que dans l'opération :
- Vous ne comprenez pas un traitre mot de la question qu'on vous a posée. (Vous ne comprenez pas le Chinois).
- Vous ne comprenez pas non plus un seul mot de la réponse que vous avez donnée.
- Vous n'avez pas compris la question, vous n'y avez pas "réfléchi" par rapport à une "base de connaissance" : Vous avez juste *calculé* statistiquement la suite de mots la plus probablement juste en utilisant les statistiques des *milliards* de textes que vous avez ingérés.
D'ailleurs dans le jargon, on ne parle pas de "mot" mais de "token". Littéralement des "jetons". Si on me donne cette suite de jetons en entrée, statistiquement voici la liste de jetons en sortie la plus probablement juste.
C'est comme cela que fonctionnent les LLMs comme ChatGPT et autres.
L'article mentionne tout de mĂȘme que mĂȘme si les LLMs sont des perroquets stochastiques, associĂ©es Ă d'autres types d'IA ou d'algorithmes elles peuvent rendre certains services.
(
Permalink)