Un article intéressant sur les LLM, mettant en lumière notre définition changeante d'intelligence. Et comme le dit l'article, savoir manipuler le langage à coup de modèles statistiques (les LLMs) est assez avancé pour passer le test de Turing, mais ce n'est pas pour cela que les LLM ont la moindre intelligence. Les LLM manipulent et produisent des expressions qu'elles ne comprennent fondamentalement pas. Une LLM ne comprend rien à l'expression "Il pleut comme vache qui pisse" même si elle est capable de vous la sortir.

La seconde partie de l'article parle de développement logiciel avec les LLM. J'extrais une citation de l'article : « La tâche fondamentale du développement de logiciels n'est pas d'écrire la syntaxe qui permettra d'exécuter un programme. Il s'agit de construire un modèle mental de ce système complexe, de lui donner un sens et de le gérer dans le temps. »
Les LLM n'ont aucun modèle mental. Ce sont juste de gigantesques générateurs statistiques de mots. Elles ne parviendront qu'à réaliser des tâches triviales ("Écris un bout de code en Python pour récupérer un bucket S3") mais ne sauront pas gérer la complexité de votre application. Et à moins d'entraîner votre propre IA sur votre code, elle ne saura rien de votre logiciel et de son architecture.

Si on ajoute à cela:
- que les LLM sont des monstruosités écologiques.
- qu'elles ne fonctionnent à peu près correctement que parce que des Kenyans payés 2 dollars de l'heure passent leur temps à la corriger.
- que malgré ces corrections elle continue à halluciner.
- qu'utiliser du code produit par les LLM vous expose à des risques légaux (car les LLMs recrachent du code sans la licence originale)
- qu'à force d'utiliser les LLM pour coder, vos meilleurs codeurs - ceux qui connaissent *vraiment* l'application - se seront cassés (Passer son temps à relire du code pondu par des IA, ce n'est pas gratifiant, vous voyez ?)

Est-ce que c'est vraiment une bonne idée de les utiliser pour le développement logiciel ?
(Permalink)