L'assistant documentaire est en service, les procédures sont indexées, et pourtant les équipes l'abandonnent. Il ignore les documents en arabe, cite une procédure retirée l'an dernier ou bute sur une question posée en Darija. Le réflexe consiste à accuser le modèle de langage. Sur un corpus algérien, la panne se situe presque toujours en amont, dans la façon dont les documents ont été lus, découpés et rendus cherchables. Cet article décrit six causes propres aux corpus bilingues et l'ordre dans lequel les corriger. Il prolonge notre guide du RAG en entreprise en Algérie.
Les symptômes et ce qu'ils révèlent
Un RAG défaillant continue de répondre. Aucune erreur ne s'affiche, les réponses se dégradent peu à peu, et les utilisateurs décrochent bien avant qu'une alerte technique ne se déclenche. Voici la grille de lecture que nous appliquons lors d'un diagnostic.
| Symptôme observé | Cause la plus probable |
|---|---|
| Les documents arabes ne sont jamais cités | Scans sans texte extrait ou reconnaissance inadaptée à l'arabe |
| Une question en français ne retrouve pas la réponse rédigée en arabe | Modèle de vectorisation monolingue |
| Un mot présent dans le document reste introuvable | Arabe non normalisé (hamza, ta marbuta, diacritiques) |
| Les questions en Darija tombent à côté | Aucune reformulation, aucun test sur des formulations réelles |
| La réponse cite une procédure périmée | Versions arabe et française désynchronisées, anciennes versions indexées |
| Les chiffres d'un tableau sont faux ou inversés | Découpage qui casse les tableaux et l'ordre de lecture bidirectionnel |
Aucune de ces situations ne se corrige en changeant de modèle de langage ou en réécrivant le prompt. Toutes se traitent dans la chaîne qui alimente le modèle.
Cause 1, les scans arabes mal reconnus
Une part importante des archives d'une entreprise algérienne existe d'abord sur papier. Numérisés sans reconnaissance de caractères, ces documents entrent dans l'index sous forme d'images, et le système ne les voit tout simplement pas. Passés par un outil conçu pour l'alphabet latin, ils produisent un texte arabe découpé, aux lettres mal liées ou à l'ordre inversé, que la recherche ne rapproche d'aucune question.
L'écriture arabe pose des difficultés propres. Les lettres changent de forme selon leur position dans le mot, les ligatures fusionnent plusieurs caractères, les diacritiques sont facultatifs et le sens de lecture s'inverse au milieu d'une ligne dès qu'apparaît une référence ou un nombre. Les annotations manuscrites en marge ajoutent une couche de difficulté.
Le contrôle est simple. Prenez un échantillon de vingt documents scannés, affichez le texte extrait page par page et comparez-le à l'original. Si le texte arabe est illisible, aucun réglage en aval ne compensera. Notre produit BADIS Scan a été conçu pour ces documents bilingues, manuscrits compris.
Cause 2, une vectorisation qui ne parle qu'une langue
La recherche repose sur des vecteurs, des représentations numériques qui rapprochent les textes de sens voisin. Beaucoup d'installations utilisent un modèle de vectorisation entraîné surtout sur l'anglais. Sur un corpus algérien, il échoue doublement. Il comprend mal le vocabulaire métier français et place loin l'une de l'autre une question en français et sa réponse rédigée en arabe.
Le test le plus parlant consiste à poser en français cinq questions dont la réponse ne figure qu'en arabe, puis l'inverse. Observez les passages retrouvés, sans regarder la réponse finale. Si le bon document n'apparaît pas dans les cinq premiers, la vectorisation est en cause.
Deux leviers corrigent la situation. Un modèle de vectorisation multilingue, entraîné à rapprocher des textes de même sens dans des langues différentes, règle la majorité des cas. Une recherche hybride, qui combine les vecteurs et une recherche par mots exacts, complète le dispositif pour les références de produits, les numéros de lots et les articles de textes réglementaires.
« Un RAG qui répond mal est presque toujours un RAG qui cherche mal. Sur un corpus bilingue, il cherche souvent dans une seule langue. »
Cause 3, un arabe non normalisé
Un même mot arabe s'écrit de plusieurs façons selon le rédacteur, le logiciel ou l'époque du document. L'alif porte ou non sa hamza (أ, إ, ا), la ta marbuta se confond avec le ha final (ة et ه), le ya final perd ses points (ي et ى), et les voyelles brèves apparaissent dans certains textes seulement. Pour une recherche par mots exacts, ces variantes forment des mots différents.
Le correctif tient en une règle. Une même fonction de normalisation s'applique au texte au moment de l'indexation et à la question au moment de la recherche. Elle unifie les formes de l'alif, retire les diacritiques et l'allongement décoratif, et harmonise les terminaisons. Appliquée d'un seul côté, elle ne sert à rien.
Cause 4, la Darija et l'écriture latine
Vos équipes ne posent pas leurs questions comme on rédige une procédure. Une question orale mélange la Darija, le français et l'arabe standard dans la même phrase, et s'écrit parfois en caractères latins avec des chiffres pour certaines lettres, ce que l'on appelle l'arabizi. Une question comme « kifach ndir la déclaration ta3 lot » n'a presque aucun mot commun avec le texte qui y répond.
Deux mesures règlent l'essentiel. Une étape de reformulation transforme d'abord la question en arabe standard ou en français avant de lancer la recherche. Le jeu de test, ensuite, se construit à partir de vraies questions collectées auprès des utilisateurs, et jamais à partir de questions rédigées en réunion. Notre article sur le traitement de la Darija détaille les difficultés propres au dialecte.
Cause 5, des versions bilingues désynchronisées
Au démarrage, le corpus a été trié avec soin. Un an plus tard, la version 3 d'une procédure coexiste avec la version 2, et la traduction arabe n'a pas suivi la dernière révision française. L'assistant remonte l'ancienne version parce qu'elle formule mieux la question posée, ou cite une traduction qui ne correspond plus au texte de référence.
Le traitement est organisationnel autant que technique. Chaque document porte en métadonnées sa version, sa date de validité, sa langue et le lien vers sa traduction. Les versions périmées sont retirées de l'index en même temps que des classeurs. Un responsable est désigné pour chaque corpus, faute de quoi la base se dégrade toujours. Dans un laboratoire, ce circuit rejoint celui de la maîtrise documentaire exigée par les bonnes pratiques de fabrication, comme nous le décrivons pour les dossiers réglementaires pharmaceutiques.
Cause 6, des tableaux et des pages bidirectionnelles mal découpés
Avant l'indexation, chaque document est découpé en passages. Un découpage par nombre de caractères coupe une procédure entre deux étapes, sépare les valeurs d'un tableau de leurs en-têtes et coupe un article réglementaire de son titre. Le modèle reçoit des nombres orphelins et les rattache au premier libellé venu, source principale des chiffres faux.
Les pages bilingues ajoutent une difficulté. Dans un PDF qui mêle une colonne arabe et une colonne française, l'extraction peut restituer les lignes dans le désordre ou inverser l'ordre des mots arabes. Le découpage doit donc suivre la structure du document, garder un tableau entier avec ses en-têtes, rattacher chaque passage au titre de sa section et vérifier l'ordre de lecture sur un échantillon de pages mixtes.
Votre assistant documentaire déçoit ?
En 30 minutes, nous identifions laquelle de ces causes explique les réponses dégradées et estimons l'effort de correction. Gratuit et sans engagement.
Réserver mon diagnosticMesurer avant de corriger, langue par langue
L'erreur de méthode la plus répandue consiste à modifier un réglage, constater que les réponses semblent meilleures et passer à autre chose. Trois semaines plus tard, les questions en arabe ont régressé sans que personne ne s'en aperçoive. Sur un corpus bilingue, une moyenne globale masque ces écarts.
Construisez donc un jeu de questions de référence avant toute modification. De trente à cent questions métier réelles, réparties entre le français, l'arabe et la Darija, avec pour chacune la réponse attendue et le document qui la contient. Deux indicateurs suffisent ensuite, calculés séparément pour chaque langue.
- La qualité de la recherche. Dans quelle proportion des questions le bon document figure-t-il parmi les cinq premiers passages retrouvés ?
- La fidélité de la réponse. Chaque affirmation de la réponse est-elle soutenue par un passage cité ?
Ce jeu de référence se rejoue à chaque modification. Une fois l'assistant en production, BADIS Control Center suit ces indicateurs en continu, et il est inclus dans les licences.
Par où commencer
| Ordre | Action | Effet attendu |
|---|---|---|
| 1 | Constituer le jeu de questions de référence en trois langues | Rend chaque correction mesurable |
| 2 | Contrôler le texte extrait des scans arabes | Fait réapparaître les documents invisibles |
| 3 | Normaliser l'arabe à l'indexation et à la recherche | Retrouve les mots écrits autrement |
| 4 | Passer à une vectorisation multilingue et à la recherche hybride | Relie les questions et les réponses d'une langue à l'autre |
| 5 | Ajouter la reformulation des questions en Darija | Rend l'outil utilisable au quotidien |
| 6 | Revoir le découpage et instaurer le cycle de versions | Corrige les chiffres faux et évite la dégradation dans la durée |
Les deux premières lignes coûtent peu et évitent de corriger au hasard. Les trois suivantes apportent l'essentiel du gain visible pour les utilisateurs. La dernière détermine si le système tiendra dans deux ans.
Questions fréquentes
Pourquoi mon RAG ne trouve-t-il rien dans mes documents en arabe ?
Le plus souvent, les documents sont des scans dont le texte n'a jamais été extrait, ou a été extrait par une reconnaissance de caractères inadaptée à l'arabe. Ils sont alors indexés comme des pages vides ou illisibles. Vérifiez sur un échantillon, page par page, que le texte arabe extrait est lisible avant de mettre en cause la recherche.
Un RAG peut-il répondre en français à partir d'un document rédigé en arabe ?
Oui, à condition d'utiliser un modèle de vectorisation multilingue, qui place une question en français et un passage en arabe au même endroit lorsqu'ils ont le même sens. Un modèle entraîné surtout sur l'anglais ou sur une seule langue rate ces correspondances. Le test consiste à poser en français des questions dont la réponse ne figure qu'en arabe.
Le RAG comprend-il les questions posées en Darija ?
Il les comprend d'autant mieux qu'elles ont été prévues. La Darija mélange l'arabe, le français et parfois l'écriture latine, que l'on appelle arabizi. Une étape qui reformule la question en arabe standard ou en français avant la recherche, et un jeu de test construit à partir de vraies questions de vos équipes, règlent l'essentiel des difficultés.
Pourquoi mon RAG cite-t-il une ancienne version d'une procédure ?
Parce que l'ancienne version est toujours indexée. Sur un corpus bilingue, le problème se double, la version arabe et la version française d'une même procédure n'étant pas toujours mises à jour en même temps. Chaque document doit porter sa version, sa date de validité et le lien vers sa traduction, et les versions périmées doivent être retirées de l'index.
Faut-il changer de modèle de langage quand un RAG répond mal ?
Rarement. Dans la grande majorité des cas, la panne se situe dans la chaîne de recherche : texte mal extrait, vectorisation inadaptée, arabe non normalisé ou découpage qui casse les tableaux. Le modèle de langage rédige à partir de ce qu'on lui transmet. Inspectez les passages retrouvés avant de toucher au modèle.
Comment mesurer la qualité d'un RAG bilingue ?
Avec un jeu de questions de référence, de trente à cent questions réelles, réparties entre le français, l'arabe et la Darija. Pour chacune, notez la réponse attendue et le document source. Mesurez ensuite, langue par langue, la proportion de questions dont le bon document figure parmi les cinq premiers passages retrouvés.
Pour aller plus loin
- RAG en entreprise en Algérie, le guide, définition, cas d'usage, coût et délais.
- RAG souverain on-premise en Algérie, l'architecture couche par couche.
- NLP et Darija algérienne, les défis du traitement du langage local.
- BADIS Scan, l'OCR arabe et français pour les documents numérisés.
- BADIS Assistant, module Documents, l'assistant documentaire RAG de BADIS AI.