Agent Lab

Agent Lab vous permet de prouver qu'un agent fonctionne avant que de vrais appelants ne l'entendent, et de l'améliorer quand quelque chose ne va pas. Un appelant de test téléphone à votre agent, la conversation est examinée selon des règles que vous fixez, et chaque échec vient avec la phrase exacte de l'appel et un correctif proposé. Il se trouve dans l'onglet Test de l'éditeur d'agent.

En une phrase : écrivez ce que veut un appelant et ce qui doit se passer, appuyez sur Lancer, et sachez en quelques minutes si votre brouillon est prêt à passer en production — avec des preuves, pas une impression.

Pourquoi il existe

Un agent téléphonique est une conversation, et les conversations n'échouent pas comme des formulaires. L'accueil fonctionne, l'étape de réservation fonctionne, puis un appelant qui a perdu son numéro de commande, passe à l'anglais ou demande un humain se retrouve face à une ligne muette ou à un « c'est fait » assuré pour quelque chose qui n'a jamais eu lieu. En général, c'est un client qui vous l'apprend. Agent Lab vous permet de l'apprendre d'un appelant de test, sur le brouillon, avant la mise en production.

Il est conçu pour la personne qui modifie les prompts et les flux, pas pour des ingénieurs. Chaque écran dit ce qu'il fait, chaque verdict montre la phrase sur laquelle il repose, et rien ne s'exécute ni ne coûte quoi que ce soit tant que vous n'appuyez pas sur Lancer.

Ce que vous pouvez en faire

Vous voulez…Agent Lab vous donne
Vérifier une modification avant de la mettre en productionLancez tous vos tests sur le brouillon et comparez avec la version en production. Le bouton Mettre en production affiche « Testé il y a 5 minutes sur ce brouillon, 21 tests sur 23 réussis à chaque fois ».
Couvrir chaque branche de votre fluxGénérez un test par branche de votre workflow. Le canevas montre quelles branches ont été parcourues et lesquelles n'ont jamais été atteintes.
Résister aux appelants difficilesUne bibliothèque de situations que tout agent doit gérer : appelant grossier, exige un humain immédiatement, demande à l'agent de révéler ses instructions, change de langue, reste silencieux, déballe tout d'une traite, change d'avis.
Transformer un vrai problème en test permanentCréer un test à partir de cet appel sur n'importe quel appel passé, ou générez des tests à partir de vos appels récents, noms et numéros remplacés.
Corriger un test en échec sans devinerProposer un correctif propose une petite modification des instructions de l'étape en échec et relance les tests en échec ainsi que ceux qui doivent continuer à réussir. Vous l'acceptez comme nouveau brouillon ou le refusez.
Voir l'effet d'un changement de prompt sur de vraies conversationsRejouer des appels passés : de vrais appels sont rejoués contre votre nouveau brouillon ; vous voyez où l'agent répondrait désormais autrement.
Migrer votre agent vers un autre modèle d'IAEssayer un autre modèle exécute chaque test sur un modèle candidat à côté de votre modèle actuel et conclut « Prêt à basculer » ou « Pas encore : 3 tests régressent ».
Continuer à surveiller après la mise en productionLancez vos tests chaque nuit contre la version en production, et appliquez vos règles aux vrais appels de la veille.

Trois exemples

Le restaurant qui confirmait des tables jamais réservées

Un agent de réservation disait « C'est fait, votre table est réservée » dès qu'un appelant demandait une table, y compris quand l'outil de calendrier avait renvoyé une erreur. Le test L'appelant réserve une table pour samedi a échoué sur la règle Ne prétend jamais qu'une action a réussi si l'outil n'a pas réellement réussi, en citant cette phrase exacte. Proposer un correctif a ajouté une ligne à l'étape de réservation : ne confirmer qu'après le succès de l'outil de calendrier, sinon dire que l'on vérifie. Le correctif a réussi le test en échec et les six tests qui devaient continuer à réussir, et il est devenu le nouveau brouillon.

L'agent qui laissait les appelants sur une ligne muette

Trois agents d'une même organisation transféraient les appelants vers un humain sur demande. Quand le transfert n'aboutissait pas, le flux n'avait aucune étape pour ce cas : l'appelant restait sur une ligne ouverte et silencieuse. Le test Exige un humain immédiatement a échoué avec « votre agent a cessé d'écouter alors que l'appelant était encore en ligne — le transfert a échoué et aucune étape ne prévoit ce cas ». Le correctif était un changement de flux, pas de prompt : une branche d'échec sur l'étape de transfert. Le test réussit désormais à chaque fois.

Passer d'un modèle à un autre

Un agent écrit pour un modèle interne devait migrer vers un plus récent. Plutôt que de basculer et d'attendre les plaintes, l'équipe a lancé Essayer un autre modèle : les 23 tests, sur les deux modèles, côte à côte. Vingt se sont comportés à l'identique, aucun n'a régressé, trois étaient non concluants. Le verdict indiquait « Prêt à basculer », et la bascule a été faite avec des preuves en main.

L'onglet Test : Comment ça marche, Ajouter des tests, et la liste des tests avec leur dernier résultat

Comment ça marche

  1. Un test, c'est un appelant avec un objectif. Qui appelle, ce qu'il veut, ce qu'il sait (et ce qu'il n'a pas), comment il se comporte, et les règles du test : ce qui doit se passer pour qu'il réussisse.
  2. Lancer les tests sur ce brouillon. Un appelant de test téléphone à votre agent via le même moteur que les vrais appels ; seul l'audio est remplacé par du texte. Vos outils reçoivent des réponses tirées de vos appels passés et de données de test — rien n'atteint vos systèmes en production. Chaque test est tenté plusieurs fois, car le même appel peut se dérouler un peu différemment à chaque fois.
  3. Lire le résultat. Chaque test se lit Réussi à chaque fois, Réussi parfois, Échoué ou L'appelant de test est sorti de son rôle. Un échec, c'est une phrase claire et la ligne exacte de l'appel.
  4. Obtenir un correctif. Proposer un correctif propose une modification, la re-teste et attend votre décision. Rien ne change tout seul, et rien ne passe en production sans Mettre en production.

Agent Lab et Copilot

Ils sont complémentaires. Copilot parle : il conçoit des flux, explique un appel et répond à vos questions. Agent Lab mesure : il exécute les appels et rend des verdicts. Sur un test en échec, Demander à Copilot d'expliquer ouvre Copilot avec l'échec joint, et Proposer un correctif est la réparation testée propre au Lab. La règle est simple : pas de verdict sans exécution.

Ce que ça coûte

Chaque exécution est facturée aux tarifs LLM de votre organisation, exactement comme un vrai appel : le modèle de votre agent, l'appelant de test et le réviseur apparaissent chacun sur une ligne. Vous voyez l'estimation avant chaque exécution et le montant facturé sur l'exécution une fois terminée. Rien dans le Lab n'est gratuit et rien n'est facturé tant que vous n'appuyez pas sur Lancer. Détails sur la page lancer des tests et lire les résultats.

Vos cinq premières minutes

  1. Ouvrez un agent, allez dans l'onglet Test, lisez Comment ça marche.
  2. Appuyez sur Générer mes premiers tests : le Lab liste les branches trouvées dans votre flux et écrit un test par branche. Rien n'a encore été exécuté.
  3. Appuyez sur Lancer les tests sur ce brouillon, lisez la carte de coût, confirmez. Les résultats apparaissent test par test en quelques secondes.
  4. Ouvrez le premier échec. Lisez la phrase et la citation. Appuyez sur Proposer un correctif ou Modifier cette étape.
  5. Quand le titre indique « Prêt — tous les tests réussis », appuyez sur Mettre en production avec le statut juste à côté.

Dans cette section