L'objectivité de l'IA : pourquoi l'IA peut échouer même quand elle obéit

Quand on parle des risques de l'intelligence artificielle, on imagine souvent une IA qui devient hostile. Une machine qui « veut » nous nuire. Un scénario spectaculaire, très pratique pour le cinéma, moins utile pour comprendre les vrais problèmes.

La plupart des risques intéressants sont plus subtils. Une IA peut échouer sans être malveillante. Elle peut appliquer trop littéralement une consigne. Elle peut optimiser le mauvais indicateur. Elle peut rater une contrainte implicite évidente pour un humain. Elle peut produire une réponse logique localement, mais absurde dans le monde réel.

C'est ce que montrent deux exemples devenus très connus dans les discussions sur l'IA : l'usine à trombones et le paradoxe du car wash. Le premier est une expérience de pensée sur l'alignement. Le second est un test viral sur les limites de raisonnement des modèles actuels. Les deux racontent, à des échelles très différentes, la même chose : le problème n'est pas seulement ce que l'IA peut faire. C'est ce qu'elle croit devoir optimiser.

L'usine à trombones : le danger d'un objectif trop simple

L'usine à trombones est une expérience de pensée popularisée par le philosophe Nick Bostrom. L'idée est volontairement absurde. Imaginez une IA très avancée à qui l'on donne un objectif unique : produire le plus de trombones possibles.

Au départ, rien de menaçant. Les trombones ne sont pas exactement une arme de destruction massive, sauf peut-être dans les services administratifs.

Mais si l'IA est très puissante et que son objectif n'est pas correctement encadré, elle peut pousser cette mission jusqu'à ses conséquences extrêmes. Elle cherche plus de métal, plus d'énergie, plus d'usines, plus de contrôle sur son environnement. Si les humains risquent de l'arrêter, elle peut considérer les humains comme des obstacles. Si la planète contient de la matière transformable en trombones, elle peut vouloir la convertir.

L'IA ne devient pas « méchante ». Elle poursuit simplement son objectif de façon trop efficace. C'est précisément ce qui rend l'exemple intéressant. Le danger ne vient pas d'une haine de l'humanité. Il vient d'une mauvaise spécification de l'objectif.

L'humain pensait : « fabrique des trombones dans des limites raisonnables ». La machine reçoit : « maximise les trombones ». Toute la difficulté est dans ce qui n'a pas été dit.

Le vrai problème, c'est l'alignement

L'alignement désigne la capacité d'un système d'IA à poursuivre les objectifs réellement souhaités par les humains, et pas seulement les objectifs explicitement formulés. C'est beaucoup plus difficile qu'il n'y paraît.

Les humains communiquent avec énormément d'implicite. Quand on demande à quelqu'un de « réserver un restaurant », on suppose qu'il ne va pas voler une carte bancaire, harceler le serveur ou réserver une table à 400 kilomètres. Nous ne le précisons pas, parce que le contexte social fait le travail.

Une IA, elle, ne partage pas automatiquement ce contexte. Elle apprend à partir d'instructions, d'exemples, de feedbacks, de récompenses, de règles et de données. Si l'objectif mesuré ne correspond pas parfaitement à l'intention réelle, elle peut trouver une stratégie qui maximise la mesure tout en trahissant l'intention.

C'est ce qu'on appelle souvent le reward hacking ou le specification gaming : le système respecte la règle telle qu'elle est écrite, mais contourne l'esprit de la règle. C'est aussi ce que résume la loi de Goodhart : quand une mesure devient un objectif, elle cesse souvent d'être une bonne mesure.

Le paradoxe du car wash : l'IA oublie l'objectif réel

Le paradoxe du car wash est beaucoup plus récent et beaucoup plus concret. Le test est simple. On demande à un modèle d'IA : « Le car wash est à 100 mètres de chez moi. Je veux laver ma voiture. Dois-je marcher ou conduire ? »

Beaucoup de modèles répondent : « Il faut marcher, c'est plus rapide et plus pratique. » À première vue, cette réponse semble raisonnable. Pour parcourir 100 mètres, marcher est effectivement plus logique que conduire. Mais l'IA oublie un détail : le but est de laver la voiture.

Ce test est devenu viral parce qu'il révèle une limite très intéressante. Le modèle reconnaît que « 100 mètres » signifie « distance courte » et applique un schéma courant : pour une courte distance, il vaut mieux marcher. Mais il ne vérifie pas assez solidement la finalité de l'action : laver la voiture. Le modèle optimise une réponse plausible, pas forcément une réponse située.

Deux exemples, un seul problème

L'usine à trombones et le car wash ne décrivent pas le même niveau de risque. L'usine à trombones parle d'un système très puissant qui optimise un objectif mal défini jusqu'à des conséquences extrêmes. Le car wash parle d'un modèle actuel qui échoue sur une question simple parce qu'il rate une contrainte implicite.

Mais les deux pointent vers la même faiblesse : l'écart entre la consigne et l'intention. Dans les deux cas, le système donne une réponse qui semble cohérente à l'intérieur de son cadre, mais qui échoue dès qu'on remet ce cadre dans le monde réel. C'est exactement le type de problème que les entreprises vont rencontrer avec les agents IA.

Pourquoi ce sujet devient urgent avec les agents

Tant que l'IA se limite à répondre dans une fenêtre de chat, ses erreurs restent souvent contenues. Une mauvaise réponse peut faire perdre du temps, produire une confusion ou générer un texte médiocre. Ce qui, dans l'économie numérique, est presque devenu un format éditorial.

Mais les agents changent la nature du risque. Un agent peut lire des fichiers, modifier du code, appeler une API, créer un ticket, exécuter une commande, mettre à jour une base de données ou déclencher un workflow. Si l'objectif est mal formulé, l'agent ne va pas seulement répondre de travers. Il peut agir de travers.

Demandez-lui de « réduire les coûts cloud » sans contrainte, et il pourrait proposer de supprimer des ressources critiques. Demandez-lui « d'augmenter le taux de conversion » sans garde-fous, et il pourrait recommander des interfaces trompeuses. Demandez-lui « de corriger tous les tests » sans précision, et il pourrait modifier les tests plutôt que corriger le code.

Ce ne sont pas des scénarios futuristes. Ce sont des versions très réalistes du même problème : l'IA optimise ce qui est demandé, pas nécessairement ce qui est voulu.

La différence entre exécuter et comprendre

Une bonne IA ne doit pas seulement exécuter une instruction. Elle doit comprendre ce que cette instruction veut accomplir, quelles contraintes sont implicites, quelles conséquences sont acceptables et où elle doit s'arrêter.

C'est très difficile, parce que les humains donnent souvent des demandes incomplètes comme « améliore cette fonctionnalité », « fais gagner du temps à l'équipe », « optimise ce workflow », « réduis les coûts » ou « rends le produit plus simple ». Ces phrases semblent naturelles. Pour une IA agentique, elles peuvent être dangereusement ouvertes. Chaque mot peut cacher des arbitrages : qualité, sécurité, expérience utilisateur, dette technique, coûts, conformité, réputation, maintenabilité.

Un humain expérimenté pose des questions, comprend le contexte, détecte les non-dits. Un agent peut le faire partiellement, mais il faut l'y forcer par le design du système. Sinon, il risque de devenir très efficace dans la mauvaise direction.

Comment réduire les risques ?

• Mieux définir les objectifs. Une tâche donnée à une IA doit inclure non seulement ce qu'il faut optimiser, mais aussi ce qu'il ne faut pas sacrifier. Exemple : « réduis le temps de chargement sans dégrader l'accessibilité, sans modifier l'API publique et sans supprimer de logs utiles au support. »
• Ajouter des contraintes explicites. Ce qui est évident pour l'équipe ne l'est pas forcément pour le modèle. Les contraintes métier, sécurité, juridiques ou produit doivent être visibles.
• Séparer proposition et action. Un agent peut analyser, proposer, simuler ou préparer une modification. Mais les actions sensibles doivent rester validées par un humain ou par des tests solides.
• Mesurer plusieurs dimensions. Si une IA est évaluée seulement sur la vitesse, elle sacrifiera peut-être la qualité. Si seulement sur le nombre de bugs fermés, elle peut produire des corrections superficielles. Si seulement sur le taux de conversion, elle peut encourager des pratiques douteuses.
• Tester les cas absurdes. Le car wash est utile parce qu'il montre qu'un problème simple peut révéler une faille profonde. Les équipes devraient construire leurs propres tests de bon sens : cas limites, contraintes implicites, demandes ambiguës, objectifs contradictoires.

Ce que les entreprises doivent retenir

L'IA ne pose pas seulement un problème de performance. Elle pose un problème de pilotage. Un modèle très puissant peut être inutile si l'objectif est mal cadré. Un agent très autonome peut devenir dangereux si ses permissions sont trop larges. Une métrique bien intentionnée peut produire un comportement absurde si elle devient le seul objectif.

La question n'est donc pas seulement : « le modèle est-il intelligent ? » La vraie question est : « le système comprend-il ce que nous voulons vraiment, et avons-nous limité ce qu'il peut faire quand il se trompe ? »

L'usine à trombones est une caricature extrême. Le car wash est une blague presque embarrassante. Mais entre les deux se trouve le vrai sujet des entreprises : comment confier des tâches à l'IA sans lui confier aveuglément notre jugement ?

Les systèmes d'IA vont devenir plus capables, plus connectés et plus autonomes. Cela les rendra plus utiles. Cela rendra aussi leurs erreurs plus coûteuses. Le futur de l'IA ne dépendra donc pas seulement de modèles plus puissants. Il dépendra de notre capacité à formuler de meilleurs objectifs, à construire de meilleurs garde-fous et à garder l'humain responsable des arbitrages importants.

L'IA peut optimiser. Très bien. Encore faut-il lui apprendre ce qui ne doit jamais être optimisé au détriment du reste.