Des agents d’IA écrivent, testent et révisent une bonne partie de notre code. Un de nos produits préparera bientôt des commandes à partir de courriels avec l’IA. La question est donc légitime : où sont les humains ?
La réponse courte : partout où une erreur coûterait cher, serait difficile à défaire ou toucherait l’argent ou les données de quelqu’un d’autre. Ce billet énumère ces endroits précisément, parce que dire « un humain supervise » ne veut rien dire tant qu’on ne dit pas où.
Ce que nous ne prétendons pas
Nous ne prétendons pas qu’un humain lit chaque ligne de code. Ce serait lent, et un peu malhonnête aussi : quelqu’un de fatigué qui survole une longue modification ne vaut pas grand-chose comme vérification.
À la place, chaque modification passe par des vérifications qui ne se fatiguent pas : des tests écrits avant le code, une compilation réussie, une revue indépendante dont les constats sont vérifiés. Les humains sont placés aux endroits où le jugement compte plus que l’exhaustivité.
Là où un humain décide dans notre développement
Tout ce qui est incertain au moment de la fusion
Une modification est fusionnée toute seule seulement si chaque règle est respectée : revue approuvée, chaque constat vérifié corrigé, compilation réussie sur la dernière version du code, et rien dans la modification qui pourrait compromettre l’environnement en service. Si un de ces points est incertain, l’agent ouvre la demande de fusion, pose la question à un membre de l’équipe et passe à autre chose.
Le seuil d’« incertain » est volontairement bas : l’alerte se déclenche souvent. Une fausse alerte coûte quelques minutes à quelqu’un. Une mauvaise fusion peut coûter une journée à un client.
Les identifiants et les accès
Les agents ne manipulent jamais de mots de passe ni de clés, n’approuvent jamais d’accès pour quelqu’un ou pour une application, et ne se connectent jamais aux consoles des fournisseurs. Ce sont des humains qui le font, chaque fois.
L’argent
Les agents ne modifient pas la facturation, n’ajoutent pas de crédit et ne créent pas de ressources infonuagiques payantes. Les tests qui coûtent de l’argent ont un budget fixé avant de commencer, et le dépasser exige l’accord d’un humain.
Les étapes destructrices
Le nettoyage des environnements temporaires, des bases de données de test et des comptes de test ne se fait que si une vérification de sécurité passe. Tout ce qui effacerait quelque chose qui n’est pas clairement temporaire fait d’abord l’objet d’une question.
Ce qui est développé
Les agents peuvent esquisser des conceptions et proposer des options. Décider de ce dont un client a vraiment besoin, et dans quel ordre, reste entre les mains de gens qui ont parlé à ce client.
Là où un humain décide dans nos produits
La même règle s’applique à l’IA dans les logiciels que nous vendons.
La commande par courriel d’UTX Freight, bientôt offerte, lit les courriels de commande et leurs pièces jointes, puis prépare des brouillons. Elle ne crée pas les commandes. Un répartiteur voit le courriel et le document à côté du brouillon, avec les champs manquants en évidence, et approuve chaque commande, une à la fois ou en lot.
Avant même qu’un brouillon puisse être approuvé, une vérification le retient s’il manque le contact client, si le conteneur ou la référence manque ou existe déjà, ou si le type de déplacement n’est pas clair. Quand le système ne peut pas associer un terminal ou un client avec assurance, il laisse le champ vide. Un champ vide coûte peu. Un champ faux, rempli avec aplomb, c’est un camion au mauvais terminal.
Nos fonctions prévues suivent le même modèle : des réponses aux questions des clients préparées pour qu’un humain les modifie et les envoie, et des notes de mécanicien mises au propre pour qu’un humain les accepte, les modifie ou les rejette. Rien ne part ni ne s’enregistre tout seul.
Pourquoi nous traçons la ligne ici
Les outils d’IA font un type d’erreur bien particulier. Ils se trompent rarement de façon évidente. Ils se trompent d’une façon qui sonne juste. Ce genre d’erreur échappe à un coup d’œil rapide. La réponse n’est donc pas « tout regarder ». C’est de mettre des vérifications strictes partout, et des humains là où le jugement et la responsabilité comptent.
Il y a aussi une raison plus simple. Quand quelque chose tourne mal avec les données ou l’argent d’un client, ce client devrait pouvoir parler à celui ou celle qui a pris la décision. Garder ces décisions entre des mains humaines, c’est tenir cette promesse.
Le prix à payer
C’est plus lent que de laisser les machines tout décider. Certaines modifications attendent une réponse. Certains brouillons attendent un répartiteur. Nous pensons que c’est le bon compromis, et nous préférons le dire clairement plutôt que de faire croire que la supervision ne coûte rien.
Si vous établissez des règles semblables pour votre équipe, la page Notre méthode en donne la version courte, et nous serons heureux d’en discuter plus longuement.