В этой статье
Одинаковый вопрос не означает одинаковый ответ
Сотрудник и руководитель спрашивают о политике оплаты, но доступные источники различаются. Стройте фильтр по подтверждённой личности и текущему членству, не роли из текста вопроса. Кеш ответа руководителю не должен достаться сотруднику через ключ только из вопроса.
Проверяйте фрагменты, утверждения, названия документов, ссылки и предлагаемые вопросы. Даже название раскрывает информацию. Ссылка должна снова проверять доступ при открытии; вчерашний ответ не даёт сегодняшних прав. Отзыв членства должен затрагивать последующий поиск и кеш с недействительным контекстом авторизации.
Применяйте авторизацию до поиска
Индексация не отменяет права. Передавайте пользователя, арендатора и правила документа в поиск, чтобы запрещённые фрагменты не попадали в контекст. Фильтровать только финальный ответ поздно.
Сохраняйте идентичность, версию, владельца и действующие права источника при загрузке. Общие ссылки, удаления и изменения доступа — события жизненного цикла для обновления или удаления индекса.
Показывайте проверяемое происхождение
Возвращайте ссылки на точный разрешённый источник с контекстом для проверки утверждения. Список названий бесполезен без связи каждого вывода с доказательством.
Разделяйте отсутствие доказательств, сбой поставщика и противоречие источникам. Безопаснее может быть воздержаться и передать вопрос, чем генерировать правдоподобное заполнение.
Три требования к доказательствам
Полезный ответ также должен соблюдать права и оставаться проверяемым.
Разрешены
Доступ пользователя проверяется до выбора фрагмента поиском.
Прослеживаются
Ответ указывает документ и соответствующую версию.
Оценены
Поиск и утверждения модели проверяются отдельно.
Оценивайте поиск и ответ отдельно
Соберите типичные вопросы с ожидаемыми источниками, правами, актуальностью, неоднозначностью и отсутствующими ответами. Измерьте нахождение доказательств до оценки формулировки.
По категориям отслеживайте подтверждение цитат, пропуски, опасный доступ, воздержание и задержку. Повторяйте после смены фрагментов, эмбеддингов, ранжирования, модели или корпуса; сохраняйте откат.
Проверяйте утверждение, не наличие ссылки
Настоящая ссылка не исключает искажение источника. Подтверждает ли фрагмент точное утверждение с областью, датой и исключениями? Лимит гостиницы одной страны не доказывает лимит другой. Сохраняйте редакцию и ID фрагмента для проверки материала, использованного при генерации.
Включите вопросы без ответа, противоречивые правила и отозванные документы. Ожидаемыми могут быть уточнение, отказ или запрос владельцу правил. Отделяйте ошибку поиска от неподтверждённой генерации: промпт не вернёт ненайденный документ. Сообщайте категории тем, кто способен их исправить.
Считайте изменения загрузки выпусками приложения
Замена индекса, границ фрагментов или метки доступа меняет ответы без изменения кода. Версионируйте настройки загрузки и сохраняйте связь ответа с набором документов. После импорта запускайте типичные вопросы и отрицательные проверки прав до признания индекса готовым.
Откат старого индекса не должен восстанавливать удалённые или запрещённые документы. Текущие права остаются главными даже при восстановлении. Дайте владельцам видимый путь обновления с ошибками импорта и устаревшими редакциями. Так RAG становится сопровождаемым сервисом знаний, а не разовой загрузкой с постепенно падающей надёжностью.
ВОПРОСЫ / РЕШЕНИЯ
Частые вопросы
Добавление ссылок устраняет галлюцинации?+
Нет. Ссылка может быть нерелевантной или не подтверждать утверждение. Оценка проверяет логическое подтверждение, полноту поиска и безопасность прав.