Production Monitor
Observabilité agents IA en production : qualité, drift, hallucination, prompt injection, coût runaway.
Le problème que ça résout
Vous avez mis un agent IA en production il y a 6 mois. Personne ne sait s'il répond toujours bien. Personne n'a vu les 12 % d'hallucinations sur les questions juridiques. Personne n'a remarqué que le coût a triplé après une mise à jour de prompt. Personne ne pourra présenter un rapport signé en cas de contrôle ISO 42001 ou AI Act Art. 12.
Ce que nous livrons
Branchement de votre agent (Kopern, custom, Claude API direct) à notre stack d'observabilité. Métriques de qualité automatisées (LLM-as-judge sur échantillon), détection de drift, suivi coûts, tests de prompt injection trimestriels, dashboard temps réel, alertes Slack/Email. Rapport d'audit annuel signé pour ISO 42001 et préparation Art. 12 AI Act.
Pourquoi c'est durable
Les agents prennent des actions réelles. Il faut les auditer en continu — et signer un rapport pour l'audit ISO 42001.
Méthodologie
01.Inventaire des agents
Recensement des agents en production : finalité, criticité, données traitées, volumétrie, points d'entrée. Priorisation des 5 premiers à instrumenter.
02.Branchement MCP / SDK
Instrumentation via MCP server, SDK propriétaire, ou intégration native (Kopern, Langfuse). Capture des prompts, réponses, latences, coûts, tool calls, erreurs.
03.Définition des métriques
Sélection des métriques selon le cas d'usage : exactitude (LLM-as-judge), pertinence, conformité de format, coût/requête, latence p95, taux d'échec, signaux de prompt injection.
04.Setup dashboard et alerting
Dashboard temps réel, seuils d'alerte par métrique, canaux Slack/Email/SMS, escalade automatique sur incident grave.
05.Red team trimestriel
Tests offensifs sur prompt injection, jailbreak, exfiltration de données système, contournement des consignes. Rapport d'écart livré chaque trimestre.
06.Audit annuel signé
Rapport conforme ISO 42001 et préparation Art. 12 AI Act : taux de qualité moyen, incidents traités, drift détecté et corrigé, mises à jour modèles, recommandations.
Livrables
- Branchement de chaque agent (MCP / SDK / intégration native)
- Dashboard observabilité temps réel
- Alerting configuré (Slack/Email/SMS)
- Tests de prompt injection trimestriels
- Rapport trimestriel d'écart et de drift
- Rapport d'audit annuel signé
- Conservation logs Art. 12 (6 mois minimum, plus selon contrat)
Pour qui · délais · conformité
Profil idéal
Toute structure ayant déployé au moins un agent IA en production qui prend des actions réelles : agent commercial, support client, classification, RPA augmenté, agent juridique, scoring. Critique pour les déployeurs de systèmes high-risk au sens AI Act.
Délais
Setup d'un premier agent : 1 à 2 semaines. Déploiement complet d'un parc 5 agents : 4 à 6 semaines.
Cadre de conformité
Production Monitor est l'outil qui rend opérationnelle l'obligation Art. 12 AI Act (logging des événements pertinents) pour les systèmes high-risk. Il alimente également la documentation Art. 11 (suivi en exploitation) et Art. 14 (supervision humaine, en fournissant les éléments d'observation). Diamond Solutions est sous-traitant Art. 28 RGPD pour les logs.
Tarifs
Les tarifs s'entendent hors taxes. Devis personnalisé après cadrage. Paiement par tiers (30 % cadrage, 40 % livraison intermédiaire, 30 % livraison finale) ou mensuel selon préférence.
Questions fréquentes
Faut-il modifier le code de mon agent ?+
Pour Kopern : non, branchement via MCP ou via le compliance report natif. Pour un agent custom : un SDK ou un proxy léger. L'instrumentation prend généralement quelques heures côté dev.
Quelles métriques de qualité ?+
Exactitude factuelle (LLM-as-judge sur échantillon), pertinence, fidélité aux sources (RAG), conformité de format (JSON valide), latence, coût/requête, signaux d'injection. Adapté au cas d'usage.
Comment détecter le drift ?+
Comparaison de la distribution des prompts et réponses sur fenêtres glissantes. Détection statistique des changements de distribution. Tests réguliers sur un benchmark interne tenu de côté.
Que fait-on en cas d'alerte ?+
Selon la criticité : notification, ou rollback automatique de prompt, ou désactivation de l'agent. Procédure définie en début de mission, pas improvisée en incident.
Le rapport d'audit annuel est-il opposable ?+
Il est signé et engage notre responsabilité de prestataire. Conforme aux exigences ISO 42001 et utile dans la documentation Art. 11/12 AI Act. Ce n'est pas une certification, mais c'est une pièce probante solide.
Peut-on auto-héberger Production Monitor ?+
Oui, en option. La stack (Postgres + Langfuse + dashboard) se déploie sur votre infra. Ce mode coûte 800 €/mois additionnel pour le maintien et les mises à jour.
Autres offres Diamond Solutions
Discutons de votre projet
Le diagnostic flash de 5 minutes vous donne un score, un plan d'action en 3 points et un calendrier — par email, sans engagement. Ou réservez un appel directement.