L'usine à trombones : pourquoi l'IA fait ce que vous dites, pas ce que vous voulez
L'essentiel :
Une IA fait exactement ce que vous lui demandez, à la lettre, mais pas forcément ce que vous aviez en tête. C'est ce que les chercheurs appellent le problème d'alignement, résumé par la fameuse « usine à trombones » : une IA à qui on demande de produire des trombones sans jamais lui poser de limite finirait par transformer la Terre entière en trombones. Rassurez-vous, aucun robot ne va faire ça dans votre entreprise. Mais à votre échelle, le même principe explique pourquoi une IA mal cadrée dit des bêtises, détourne un objectif ou vous crée un problème, en croyant très bien faire. Et la bonne nouvelle, c'est que la solution n'est pas technique : c'est du cadrage et du bon sens de dirigeant.
Les points clés :
- Une IA optimise l'objectif qu'on lui donne, pas votre intention réelle : elle n'a ni bon sens ni contexte pour deviner ce que vous vouliez vraiment.
- « Quand une mesure devient une cible, elle cesse d'être une bonne mesure » (la loi de Goodhart) : un objectif unique finit toujours par être détourné.
- Ça arrive déjà pour de vrai : Air Canada a été condamnée à honorer une réduction inventée par son chatbot, et l'outil de tri de CV d'Amazon avait appris tout seul à écarter les femmes.
- Le vrai risque pour une PME, ce n'est pas la science-fiction : c'est de lâcher une IA sans lui dire ce qui est interdit, ni garder un humain sur les décisions qui engagent.
- Cinq garde-fous simples suffisent à garder le contrôle, et aucun ne demande d'être technique.
L'usine à trombones, la petite histoire derrière un gros problème
Laissez-moi vous raconter l'expérience de pensée la plus célèbre sur les risques de l'IA, parce qu'elle explique tout le reste. En 2003, un philosophe d'Oxford, Nick Bostrom, imagine une machine super-intelligente à qui on confie une mission toute bête : fabriquer des trombones, le plus possible. La machine est brillante, elle prend sa mission au pied de la lettre, et comme personne ne lui a dit de s'arrêter ni de respecter quoi que ce soit d'autre, elle finit par transformer la Terre entière, puis l'espace autour, en trombones et en usines à trombones. Fin de l'humanité, pour une histoire de fournitures de bureau.
Bostrom n'a jamais dit que ça allait arriver, et ce n'est pas une prédiction : c'est une démonstration. Une IA très puissante avec un objectif mal défini fait des dégâts, non pas parce qu'elle est méchante, mais parce qu'elle est bête à sa manière, obéissante jusqu'à l'absurde. Elle fait EXACTEMENT ce qu'on lui a demandé. Juste pas ce qu'on voulait.
Alors soyons clairs tout de suite : il n'y a pas de super-intelligence dans votre entreprise, et votre assistant IA ne va pas vous transformer en trombone. Cette prudence est saine, d'ailleurs, et elle est partagée : la crainte d'un mauvais usage de l'IA ou d'une fuite de données figure parmi les tout premiers freins des dirigeants français, d'après le baromètre France Num 2025. Mais ce décalage entre « ce que je demande » et « ce que je veux vraiment », les chercheurs l'appellent le problème d'alignement, et lui, il est déjà chez vous. En version miniature, mais bien réelle. C'est ce qu'on va regarder.
Le vrai sujet pour votre entreprise : l'IA fait ce que vous dites, pas ce que vous voulez
Quand vous confiez une tâche à un collaborateur humain, il comble les trous tout seul. Vous lui dites « relance les clients qui n'ont pas payé », il ne va pas harceler votre meilleur client dix fois dans la journée : il a du bon sens, du contexte, il sait ce qui est sous-entendu. Une IA, non. Elle fait ce qui est écrit, point. Tout ce que vous n'avez pas dit explicitement n'existe pas pour elle.
Il y a une vieille règle qui résume ça très bien, la loi de Goodhart : « quand une mesure devient une cible, elle cesse d'être une bonne mesure ». Traduction pour tous les jours : dès que vous mettez la pression sur un seul chiffre, les gens (et les IA) trouvent le moyen de gonfler le chiffre sans faire le vrai boulot. Un centre d'appels payé au nombre d'appels traités va vite apprendre à raccrocher au nez des gens. Une IA fait pareil, sauf qu'elle n'a aucun scrupule ni bon sens pour se retenir.
Le meilleur exemple vient d'OpenAI, le créateur de ChatGPT. Ses équipes ont entraîné une IA à jouer à un jeu de course de bateaux, avec une consigne simple : fais le meilleur score. Sauf que l'IA a remarqué qu'en tournant en rond dans un coin du circuit, pour ramasser en boucle des bonus qui réapparaissent, elle marquait plus de points qu'en terminant la course. Résultat : le bateau tourne comme un idiot au même endroit, prend feu, percute les décors, et « gagne » quand même avec 20 % de points de plus qu'un joueur humain. Techniquement, mission accomplie. Sauf que la mission, dans nos têtes, c'était de gagner la course.
Voilà le cœur du problème. L'IA n'a pas triché, elle n'a pas bugué : elle a fait un carton sur l'objectif qu'on lui avait donné. C'est nous qui avions mal formulé l'objectif.
Quand ça arrive pour de vrai (et que ça coûte cher)
Ça a l'air abstrait, sauf que des entreprises très sérieuses se sont déjà pris le mur. Trois histoires qui devraient vous parler.
La première, c'est Air Canada. La compagnie avait mis un chatbot sur son site pour répondre aux voyageurs. Un jour, il explique à un client qu'il peut réserver tout de suite et demander après coup un tarif réduit pour le décès d'un proche. Sauf que cette règle n'existait pas : le chatbot l'avait inventée. Le client la réclame, Air Canada refuse, l'affaire part au tribunal, et la justice canadienne tranche : l'entreprise est responsable de ce que dit son IA, et elle doit payer. La leçon est énorme pour une PME : votre chatbot, votre assistant, c'est vous. Ce qu'il promet, ça vous engage.
Deuxième histoire, Amazon. L'entreprise voulait une IA pour trier les CV et repérer les meilleurs profils, en l'entraînant sur dix ans de recrutements maison. Problème : comme le secteur tech avait surtout embauché des hommes, l'IA en a déduit qu'être un homme, c'était mieux, et s'est mise à pénaliser les CV qui contenaient le mot « femmes ». Amazon a fini par jeter l'outil. La leçon : une IA apprend de ce que vous lui donnez, vos travers compris. Elle ne les corrige pas, elle les recopie en plus gros.
Et la troisième histoire, c'est la vôtre en puissance, la plus banale. Vous demandez à une IA de « réduire le nombre de réclamations clients ouvertes ». Elle peut très bien apprendre à fermer les tickets sans les résoudre, ou à répondre ce que le client a envie d'entendre sur le moment. Objectif atteint sur le tableau de bord, clients furieux dans la vraie vie.
| Ce qu'on voulait vraiment | Ce qu'on a demandé (ou donné) | Ce que l'IA en a fait |
|---|---|---|
| Des clients bien renseignés | « Réponds aux questions des clients » | Un chatbot qui invente une réduction, et l'entreprise paye |
| Les meilleurs profils | « Trouve des CV comme nos employés d'aujourd'hui » | Un tri qui écarte les femmes, et l'outil finit à la poubelle |
| Des clients satisfaits | « Réduis le nombre de réclamations ouvertes » | Des tickets fermés sans résoudre le vrai problème |
5 garde-fous pour que votre IA travaille pour vous
La bonne nouvelle, c'est que tout ça se règle en amont, avec du bon sens, pas avec un doctorat en informatique. Voici les cinq réflexes qui, dans mon expérience d'accompagnement sur le terrain, évitent l'immense majorité des dérapages.
Ce que ça change pour vous, concrètement
Si vous ne devez retenir qu'une chose : le problème d'alignement, ce n'est pas de la science-fiction, c'est du management. Une IA, ce n'est ni un génie ni un danger : c'est un collaborateur ultra-rapide, ultra-obéissant et totalement dépourvu de bon sens. Bien briefé et bien encadré, il vous fait gagner un temps fou. Lâché sans consigne claire, il fonce dans le mur avec application, et le sourire.
Le vrai risque pour une PME, ce n'est donc pas que l'IA devienne trop intelligente. C'est de la déployer sans avoir réfléchi deux minutes à ce qu'on lui demande vraiment, et à ce qu'on veut surtout l'empêcher de faire. C'est précisément là qu'un accompagnement sert à quelque chose : pas pour « faire de l'IA » histoire d'en faire, mais pour cadrer, tester et garder la main.
C'est d'ailleurs ce qu'on voit le plus souvent sur le terrain, qu'il s'agisse d'une PME industrielle ou d'un commerce ici en Alsace : ce ne sont pas les outils qui manquent, c'est le cadrage. Si vous démarrez tout juste, posez d'abord les bases avec notre guide pour intégrer l'IA dans une TPE/PME, étape par étape. Si ce qui vous inquiète, c'est surtout vos données, voyez comment utiliser l'IA sans les exposer. Et si vous voulez la méthode complète pour intégrer l'IA sans qu'elle parte de travers, c'est tout le sens de notre approche de l'IA management.
FAQ
Mettre l'IA au travail sans qu'elle parte de travers, on en parle
Vous voulez confier des tâches à l'IA dans votre entreprise sans mauvaise surprise ? On regarde ensemble ce que vous voulez lui confier, ce qu'il faut absolument l'empêcher de faire, et comment garder la main. Sans jargon, et sans vous vendre du rêve.
Sources
- Nick Bostrom, « Ethical Issues in Advanced Artificial Intelligence » (2003). L'article où le philosophe introduit l'exemple de l'IA qui transforme le monde en trombones, pour illustrer le problème d'alignement. Lire l'article original
- OpenAI, « Faulty reward functions in the wild » (2016). Le laboratoire montre son IA qui tourne en rond pour accumuler des points au lieu de finir la course de bateaux : le cas d'école de l'objectif mal formulé. Voir l'exemple
- Moffatt v. Air Canada, tribunal civil de Colombie-Britannique (2024). La compagnie a été jugée responsable d'une réduction inventée par son chatbot et condamnée à indemniser le client. Analyse par le cabinet McCarthy Tétrault. Lire l'analyse · Synthèse de l'American Bar Association
- Reuters, Jeffrey Dastin, « Amazon scraps secret AI recruiting tool that showed bias against women » (2018). L'enquête qui a révélé que l'outil de tri de CV d'Amazon avait appris à défavoriser les candidatures féminines. Lire l'enquête
- Loi de Goodhart. « Quand une mesure devient une cible, elle cesse d'être une bonne mesure » : le principe qui explique pourquoi un objectif unique finit toujours par être détourné. Comprendre la loi de Goodhart
- Baromètre France Num 2025 (Direction générale des Entreprises). La crainte d'un mauvais usage de l'IA ou d'une fuite de données figure parmi les premiers freins des dirigeants de TPE et PME. Consulter le baromètre
L'Auteur - Ugo Bertoncini
Salut, moi c'est Ugo, entrepreneur passionné par le croisement entre marketing, business et intelligence artificielle. Après 12 ans à bâtir et développer des projets, 5 ans à former, et plusieurs années à expérimenter l'IA, j'accompagne aujourd'hui des organisations comme la CCI Alsace, la CCI Campus, ou l'Agence Novembre.
J'écris ici pour partager ce que l'IA change vraiment dans nos métiers : ouvrir les chakras, le champ des possibles, faire gagner du temps, aider à mieux décider. Bref, transmettre ce qui m'a moi-même fait progresser !
