IA en production en Algérie : les garde-fous qui séparent une démonstration d'un outil fiable

Une IA qui impressionne en démonstration peut décevoir dès sa première semaine en production. Les utilisateurs posent des questions imprévues, les documents changent, les droits d'accès entrent en jeu et plus personne ne relit chaque réponse. La différence entre une démonstration et un outil fiable tient à une série de garde-fous. Le périmètre est borné, les réponses sont sourcées, les cas incertains reviennent à un humain, les accès sont contrôlés, tout est journalisé et l'évaluation continue après le lancement. Cet article détaille ces sept garde-fous et les indicateurs à suivre.

Pourquoi les démonstrations trompent

Une démonstration est préparée. Les questions sont choisies, les documents sont propres et la personne qui présente sait où se trouvent les limites du système. En production, aucune de ces conditions ne tient. Un commercial interroge l'assistant sur un produit retiré du catalogue. Un agent pose une question à laquelle aucun document ne répond. Une procédure est mise à jour, mais l'ancienne version reste indexée.

Dans chacun de ces cas, un modèle de langage produit une réponse plausible. Sans garde-fou, rien ne distingue une réponse juste d'une réponse inventée. Les erreurs ne se voient pas le premier jour. Elles apparaissent quand un utilisateur s'appuie sur une réponse fausse pour prendre une décision.

Les sept garde-fous d'une IA fiable

Garde-fou 1, un périmètre borné

Le système doit savoir ce qu'il couvre et ce qu'il ne couvre pas. Pour un assistant documentaire, le périmètre correspond à un corpus précis, dans ses versions en vigueur. Les documents périmés quittent l'index dès qu'une nouvelle version paraît. Une question hors périmètre reçoit une réponse explicite : le système indique qu'il ne peut pas répondre.

Garde-fou 2, des réponses sourcées

Chaque réponse cite le passage dont elle provient, avec le document et la section. L'utilisateur peut vérifier en un clic. Une réponse sans source reste une exception, signalée comme telle. Cette exigence change aussi le comportement des équipes, qui apprennent à contrôler plutôt qu'à croire.

Garde-fou 3, le droit de ne pas répondre

Un système fiable refuse de répondre lorsque les passages retrouvés sont trop faibles ou contradictoires. Le seuil se règle sur des cas réels, au moment du pilote. Un taux de refus trop bas signale souvent un système qui invente, un taux trop haut un corpus incomplet.

Garde-fou 4, le repli humain

Certaines demandes doivent revenir à une personne : une question sensible, une action irréversible, un cas que le système classe comme incertain. Pour un agent IA qui agit dans vos outils, ce repli est obligatoire pour toute action à fort impact, avec une validation explicite avant exécution. Le système escalade plutôt que de deviner.

Garde-fou 5, des droits appliqués avant la lecture

Un utilisateur ne doit obtenir que les réponses construites à partir de documents qu'il a le droit de consulter. Le filtrage s'applique au moment de la recherche, avant que le modèle ne lise le passage. Un filtrage limité à l'affichage laisserait le modèle raisonner sur des informations confidentielles et en restituer le sens.

Garde-fou 6, une journalisation complète

Chaque échange est conservé avec la question, les passages retrouvés, la réponse, la version du modèle et l'identité de l'utilisateur. Ces journaux servent à trois choses. Ils permettent d'analyser une erreur, de prouver la conformité lors d'un contrôle, et d'alimenter l'amélioration du système avec des cas réels.

Garde-fou 7, une évaluation qui ne s'arrête pas

Avant la mise en production, on constitue un jeu de questions de référence dont les bonnes réponses sont connues, validé par les métiers. Ce jeu est rejoué à chaque changement de modèle, de documents ou de paramètres. Une nouvelle version qui dégrade les résultats n'est pas déployée. Une version déjà déployée peut être retirée et remplacée par la précédente.

« Une IA en production se juge sur la manière dont ses erreurs sont détectées et corrigées. »

Les indicateurs à suivre chaque semaine

Les garde-fous produisent des mesures. Pendant les premiers mois, ces indicateurs méritent une relecture hebdomadaire par un responsable métier et un responsable technique.

Ces mesures demandent un outil de supervision dédié, distinct du système lui-même. Chez BADIS AI, ce rôle revient au BADIS Control Center, qui suit en continu les systèmes déployés chez nos clients.

Le contexte algérien ajoute deux exigences

La première concerne la continuité. Un système dont les fonctions essentielles dépendent d'un service en ligne à l'étranger s'arrête à chaque coupure de liaison. Avec un modèle, un index et des journaux hébergés sur site, l'outil continue de fonctionner. Les mises à jour passent alors par une procédure contrôlée plutôt que par une connexion permanente.

La seconde concerne la gouvernance des données. Dans les administrations et les organismes chargés d'un service public, le décret 25-320 impose la classification des données. Le niveau de classification de chaque document doit donc suivre ce document jusque dans l'index, et la journalisation des accès devient la preuve de son respect.

Avant la mise en production, sept vérifications

1. Le périmètre est écrit, et les documents périmés sont retirés de l'index.
2. Chaque réponse affiche sa source, vérifiable en un clic.
3. Le seuil de refus est réglé sur des questions réelles issues du pilote.
4. Les cas d'escalade vers un humain sont définis, avec un destinataire nommé.
5. Les droits d'accès sont appliqués avant la lecture par le modèle.
6. Les journaux sont conservés, consultables et protégés.
7. Le jeu de questions de référence existe, avec un seuil de non-régression.

Questions fréquentes

Pourquoi une IA qui fonctionne en démonstration échoue-t-elle en production ?
Une démonstration repose sur des questions choisies et des documents propres. En production, les utilisateurs posent des questions imprévues, les documents changent, les droits d'accès comptent et personne ne vérifie chaque réponse. Sans garde-fous, les erreurs passent inaperçues jusqu'à ce qu'elles coûtent cher.

Qu'est-ce qu'un repli humain dans un système d'IA ?
Le repli humain est la règle qui transmet une demande à une personne lorsque le système n'est pas assez sûr de sa réponse, lorsque la question sort de son périmètre ou lorsque l'action envisagée est sensible. Le système préfère alors escalader plutôt que deviner.

Comment mesurer la fiabilité d'un assistant IA dans le temps ?
Avec un jeu de questions de référence dont les bonnes réponses sont connues, rejoué à chaque changement de modèle, de documents ou de paramètres. On suit aussi en continu le taux de refus de répondre, les réponses corrigées par les utilisateurs et les escalades vers un humain.

Une IA déployée on-premise continue-t-elle de fonctionner en cas de coupure internet ?
Oui, si le modèle, l'index documentaire et les journaux sont hébergés sur site et que le système ne dépend d'aucun appel sortant pour ses fonctions essentielles. Les mises à jour passent alors par une procédure contrôlée plutôt que par une connexion permanente.

Quels indicateurs suivre après la mise en production ?
Au minimum la part de réponses sourcées, le taux de refus de répondre, le taux d'escalade vers un humain, les réponses signalées comme fausses, la latence et la disponibilité. Ces indicateurs doivent être relus chaque semaine pendant les premiers mois.

Sources

• BADIS Control Center, supervision continue des systèmes d'IA en production
• Décrets 25-320 et 25-321, classification des données et traçabilité des accès