Dans cet article
Une même question n’implique pas une même réponse
Un salarié et un responsable posent la même question sur la rémunération. Leurs sources autorisées peuvent différer. Construisez le filtre depuis l’identité authentifiée et les appartenances actuelles, pas depuis un rôle mentionné dans la question. Une réponse mise en cache pour le responsable ne doit pas être réutilisée pour le salarié avec une clé fondée uniquement sur le texte.
Testez toute la réponse : passages, affirmations, titres de documents, citations et suggestions. Un simple titre peut divulguer une information. Le lien d’une citation doit revérifier l’accès à l’ouverture ; une réponse produite hier n’accorde pas de droits aujourd’hui. La révocation d’une appartenance doit affecter les recherches suivantes et les caches dont le contexte d’autorisation n’est plus valable.
Appliquer l’autorisation avant la recherche
Indexer un contenu ne supprime pas ses règles d’accès. Transmettez politique utilisateur, tenant et document à la recherche afin qu’aucun chunk interdit n’entre dans le contexte du modèle. Filtrer seulement la réponse finale est trop tard.
Préservez identité source, version, owner et permissions effectives pendant l’ingestion. Traitez liens partagés, documents supprimés et changements de permissions comme des événements lifecycle qui mettent à jour ou retirent le contenu indexé.
Rendre la provenance visible et vérifiable
Retournez des citations vers la source autorisée exacte avec assez de contexte pour vérifier l’affirmation. Une liste de titres n’aide pas si elle ne montre pas quelle preuve soutient quelle conclusion.
Séparez « aucune preuve pertinente », panne fournisseur et réponse en conflit avec les sources. La réponse sûre peut être de s’abstenir et router la question plutôt que de générer un remplissage plausible.
Les preuves ont trois exigences
Une réponse utile doit aussi respecter les droits et rester vérifiable.
Autorisées
L’utilisateur dispose des droits avant la sélection du passage.
Traçables
La réponse renvoie au document et à sa version pertinente.
Évaluées
La recherche et les affirmations générées sont évaluées séparément.
Évaluer séparément recherche et réponse
Construisez un jeu de questions représentatif avec sources attendues, cas de permissions, contenu temporel, formulation ambiguë et demandes sans réponse. Mesurez si la recherche trouve les preuves avant de juger la formulation.
Suivez support des citations, preuves manquantes, accès interdit, abstention et latence par classe de question. Rejouez le jeu après changements de chunking, embedding, reranking, modèle ou corpus et gardez un rollback.
Vérifier l’affirmation, pas la présence d’une citation
Une réponse peut contenir un lien réel tout en déformant la source. Le passage soutient-il exactement l’affirmation, avec son périmètre, sa date et ses exceptions ? Une indemnité hôtelière valable dans un pays ne justifie pas celle d’un autre. Conservez révision et identifiant du passage pour permettre de consulter le matériau utilisé lors de la génération.
Incluez questions sans réponse, politiques contradictoires et documents révoqués dans l’évaluation. Le résultat attendu peut être une précision, un refus ou l’intervention du responsable documentaire. Séparez échec de recherche et génération sans fondement : une meilleure consigne ne récupère pas un document jamais trouvé. Adressez chaque catégorie aux personnes capables de la corriger.
Traiter les changements documentaires comme des versions
Remplacer l’index, modifier le découpage ou changer un droit peut modifier les réponses sans changement de code. Versionnez la configuration d’ingestion et permettez de retrouver la collection qui a produit une réponse. Après import, exécutez des questions représentatives, dont les tests d’interdiction d’accès, avant de déclarer l’index prêt.
Revenir à un ancien index demande une attention particulière : cela ne doit pas rétablir des documents supprimés ou révoqués. Les droits actuels restent la référence pendant la reprise. Donnez aux responsables documentaires un suivi des mises à jour, imports échoués et révisions anciennes. Le RAG devient un service documentaire entretenu, plutôt qu’un dépôt ponctuel dont la fiabilité dérive progressivement.
FAQ / DÉCISIONS
Questions fréquentes
Ajouter des citations élimine-t-il les hallucinations ?+
Non. Une citation peut être hors sujet ou ne pas soutenir l’affirmation. L’évaluation doit vérifier support, complétude de recherche et sécurité des permissions.