RAG nutzt alte Dokumentversionen: So finden Sie die Fehlerquelle

Wenn Ihr RAG-System trotz aktualisierter Dokumente eine alte Fassung verwendet, verfolgen Sie einen konkreten Fehlerfall durch die gesamte Verarbeitung: vom maßgeblichen Quelldokument über Index und Suchfilter bis zum Modellkontext und Quellenlink. Suchen Sie die erste Stelle, an der die erwartete Version verloren geht.

Ein erneuter Upload allein belegt noch nicht, dass die neue Fassung für die betreffende Frage verfügbar und auswählbar ist. Ebenso wenig reicht ein korrektes Zitat aus: Die zitierte Passage kann genau das wiedergeben, was früher galt.

Die folgenden Diagnose- und Testtabellen sind eigene technische Empfehlungen. Dokumente, Werte und Ergebnisse im Beispiel sind ausdrücklich fiktiv. Es wurden dafür keine Messungen an einem Kundensystem durchgeführt.

Zuerst festlegen, welche Fassung die Frage beantworten darf

„Nehmen Sie die neueste Version“ ist keine vollständige Regel. Die höchste Versionsnummer kann zu einem Entwurf gehören. Eine bereits veröffentlichte Fassung kann erst nächsten Monat gelten. Eine ältere Version kann für eine historische Frage die richtige Quelle sein.

Unterscheiden Sie deshalb:

• Änderungszeitpunkt: Wann wurde die Datei bearbeitet?
• Freigabe: Welche Fassung wurde fachlich genehmigt und für welchen Bereich?
• Gültigkeitszeitraum: Für welchen Zeitraum gilt ihr Inhalt?
• Verarbeitungsstand: Welche Fassung wurde vollständig in die Suche übernommen?
• Fragebezug: Für welchen Zeitpunkt, Standort oder Produktstand wird eine Antwort benötigt?

Dass versionsabhängige Fragen eine eigene Prüfaufgabe sind, untersucht auch VersionRAG. Die Arbeit betrachtet ausdrücklich Dokumentfassungen und deren Entwicklung. Ihre Ergebnisse auf dem dortigen Testbestand sind keine Qualitätsprognose für andere Unternehmenssysteme.

Die übergreifende Architektur dafür beschreibt DMS mit RAG verbinden: Architektur, Rechte und Versionen. Für die folgende Fehlersuche setzen wir voraus, dass eine verantwortliche Stelle die fachlich maßgebliche Fassung benennen kann.

Ein kleiner Testbestand macht den Fehler sichtbar

Verwenden Sie zunächst künstliche Dokumente mit eindeutig unterscheidbaren Angaben.

Fiktives Beispiel: Ein interner Assistent beantwortet Fragen zur Demo-Richtlinie „Serviceprüfung“ für Standort Österreich.

Für „Wie oft ist die Serviceprüfung aktuell erforderlich?“ am 27. Oktober 2026 lautet das erwartete Ergebnis: 14 Tage, belegt mit V4.

Für „Welche Regel galt am 19. Oktober 2026?“ lautet es: 30 Tage, belegt mit V3 – sofern historische Recherche vorgesehen und der Nutzer heute dazu berechtigt ist. Der frühere Freigabestand muss dafür nachvollziehbar bleiben; der heutige Status „ersetzt“ allein reicht als Auswahlregel nicht aus.

V5 darf für keine dieser Antworten als gültige Vorgabe erscheinen. Damit prüfen Sie aktuelle Gültigkeit, historische Gültigkeit und den Ausschluss von Entwürfen.

Den ersten abweichenden Verarbeitungsschritt finden

Wiederholen Sie die fehlerhafte Frage mit festgehaltenem Nutzerkontext und Stichtag. Vergleichen Sie anschließend diese Stationen:

Beheben Sie zunächst die früheste Abweichung. Wenn V4 im Suchbestand fehlt, kann eine neue Formulierung des Antwort-Prompts diesen Zustand nicht korrigieren.

Oracle beschreibt solche Abweichungen zwischen führender Quelle und Suchbestand als RAG Index Drift. Der Engineering-Beitrag vom 16. Juli 2026 empfiehlt unter anderem den Abgleich von Quellidentität, Versionen und abgeleiteten Suchobjekten.

Für die Untersuchung genügt zunächst ein schmaler Nachweis: Laufkennung, Stichtag, Dokument- und Versionskennungen, angewendete Filter sowie ausgewählte Abschnittskennungen. Vollständige vertrauliche Dokumente müssen dafür nicht in jedes Diagnoseprotokoll kopiert werden.

Gültigkeit vor der Rangfolge prüfen

Ein Ähnlichkeitsscore beantwortet die Frage, wie gut ein Abschnitt zur Suchanfrage passt. Die fachliche Zulässigkeit muss Ihre Anwendung gesondert bestimmen.

Als eigene Entwurfsregel für das Beispiel gilt:

Ein Abschnitt darf als Evidenz ausgewählt werden, wenn:

1. der Nutzer aktuell darauf zugreifen darf,
2. die Dokumentfassung für den fachlichen Bereich
   zum angefragten Stichtag freigegeben war,
3. die Fassung zum angefragten Stichtag gilt,
4. der Abschnitt aus einer vollständig bereitgestellten Indexfassung stammt.

Erst innerhalb dieses zulässigen Bestands wird die inhaltliche Rangfolge bestimmt. Wenden Sie die Regeln auf sämtliche Suchpfade an, einschließlich lexikalischer Teilabfragen und nachgeladener Inhalte.

Für historische Fragen braucht es eine ausdrückliche Regel. Ein pauschaler Filter wie is_latest = true würde V3 ausschließen, obwohl sie für den 19. Oktober die richtige Quelle ist. Umgekehrt darf eine historische Frage keine früheren Zugriffsrechte wiederherstellen.

Vektordatenbanken können technische Filterbausteine bereitstellen. Qdrant dokumentiert beispielsweise Datumsbereichsfilter für Zeitstempel im RFC-3339-Format. Welche Fassung fachlich gilt, müssen Datenmodell und Anwendung trotzdem festlegen.

Achten Sie auf Zeitgrenzen. Ein mögliches Schema verwendet einen eingeschlossenen Beginn und ein ausgeschlossenes Ende:

gültig_ab ≤ Stichtag < gültig_bis

Im Beispiel beginnt V4 am 20.10.2026 um 00:00 Uhr in der Zeitzone Europe/Vienna; das ausgeschlossene Ende von V3 ist derselbe Zeitpunkt. Die Bedeutung eines fehlenden Enddatums sowie Zeitzone und Umrechnung müssen festgelegt sein. Überlappende Gültigkeiten sind ein zu behandelnder Konflikt, keine Aufgabe für den Ähnlichkeitsscore.

Auch die Schritte nach der Suche kontrollieren

Eine korrekte erste Trefferliste reicht nicht aus. Prüfen Sie insbesondere drei mögliche Umwege.

Erweiterter Kontext: Findet die Suche einen kleinen Abschnitt und lädt danach das ganze Kapitel nach, müssen beide derselben Dokumentfassung angehören.

Zusammenfassungen: Eine separat gespeicherte Zusammenfassung braucht einen nachvollziehbaren Bezug zu ihren Quellenfassungen. Andernfalls kann sie ältere Angaben wieder in den Kontext einbringen.

Gespeicherte Antworten: Wird eine frühere Antwort wiederverwendet, muss ihre Gültigkeit für den aktuellen Anfragekontext geprüft werden. Ein neuer Indexstand allein macht eine bereits gespeicherte Antwort nicht automatisch aktuell.

Zur Eingrenzung können Sie einen Test gezielt ohne Antwort-Cache wiederholen. Verschwindet der Fehler, ist das ein Hinweis auf diesen Verarbeitungspfad, noch kein vollständiger Ursachenbeweis.

Kontrollieren Sie außerdem den Beleglink: Öffnet er die zitierte Revision oder stets die aktuellste Datei? Falls das Quellsystem keine dauerhaften Versionslinks anbietet, sollte die Anwendung diese Grenze sichtbar machen und zumindest Dokument-ID, Revision und Fundstelle ausweisen.

Eine neue Fassung erst nach vollständiger Bereitstellung verwenden

Definieren Sie einen erkennbaren Übergang zwischen „erkannt“, „verarbeitet“ und „für Antworten verwendbar“.

Meine Empfehlung für einen begrenzten Workflow:

1. Die neue Revision mit ihrer unveränderlichen Versionskennung erfassen.
2. Zugehörige Abschnitte und Metadaten vollständig erzeugen.
3. Verarbeitungsergebnis und erwarteten Umfang abgleichen.
4. Die fachlichen Versionsfragen gegen diesen Stand prüfen.
5. Erst anschließend den Stand für reguläre Antworten bereitstellen.

Wie dieser Übergang technisch konsistent umgesetzt wird, hängt von Ihren Speichern und Suchdiensten ab. Zwei nacheinander ausgeführte Aktualisierungen sind nicht automatisch eine gemeinsame Umschaltung.

Wichtig für das Beispiel: Wenn V4 bereits gilt, aber noch nicht verlässlich verfügbar ist, darf die Anwendung V3 nicht stillschweigend als aktuelle Regel ausgeben. Für diese Frage muss sie den fehlenden belastbaren Stand anzeigen oder den vorgesehenen Klärungsweg anbieten. Dafür muss die Abfrage die maßgebliche Revision auch dann kennen können, wenn deren Verarbeitung fehlgeschlagen ist – etwa aus einem getrennten Dokumentregister.

Bei einem Versionswechsel während einer laufenden Anfrage sollten Sie ebenfalls festlegen, ob die Antwort den erfassten Stand ausdrücklich ausweisen darf oder vor der Ausgabe erneut geprüft werden muss.

Acht Testfälle für die Versionslogik

Die Tabelle beschreibt erwartetes Verhalten, keine bereits bestandenen Tests.

Bewerten Sie dabei Quellenauswahl, Antwort und Quellenbeleg getrennt. Eine zufällig richtige Zahl mit einer unpassenden Quelle besteht den Belegtest nicht.

Für den Aufbau eines wiederholbaren Testbestands eignet sich die Anleitung zu RAG-Evaluation, Metriken und Golden Dataset.

Mit einem Dokumentpaar anfangen

Wählen Sie einen Workflow, in dem eine falsche Fassung eine konkrete Folge hätte. Legen Sie zwei künstliche Revisionen, einen Entwurf und die erwarteten Antworten für aktuelle sowie historische Fragen an.

Verfolgen Sie zunächst einen Fehler bis zur ersten abweichenden Station. Ergänzen Sie den korrigierten Fall anschließend um Zeitgrenze, unvollständige Verarbeitung und widersprüchliche Freigaben.

Das Ergebnis sollte eine kleine Diagnoseakte sein:

• maßgebliche Quelle und erwartete Revision;
• erster abweichender Verarbeitungsschritt;
• konkrete Korrektur;
• wiederholbarer Test mit erwartetem Ergebnis.

Wenn Sie diese Prüfung für einen vorhandenen Wissensassistenten abgrenzen möchten, passt der AI Production Readiness & Reliability Sprint. Ein sinnvoller Prüfbereich ist ein Workflow mit seinem Versionswechsel, den relevanten Suchpfaden und einem nachvollziehbaren Fehlernachweis.