Alle Artikel
AI Pharma Validierung

Grounding von Sprachmodellen: belegte Effekte und Grenzen

Anbieter von KI-Werkzeugen für regulierte Umgebungen werben mit Grounding und mit dem Versprechen, ihr System halluziniere nicht. Die veröffentlichte Evidenz stützt einen Teil davon und widerspricht einem anderen. Ein kontrollierter Negativbefund zeigt, dass Grounding über öffentliches Fachwissen bei starken Modellen kaum wirkt, während es bei Inhalten außerhalb der Trainingsdaten von rund 22 auf nahezu 100 Prozent korrekter Antworten führt. Genau letzteres ist der regulierte Fall. Nicht belegt ist dagegen, dass formale Ontologien gegenüber einfacher Graphstruktur einen zusätzlichen KI-Nutzen bringen. Der Artikel ordnet die Studienlage ein, unterscheidet Trefferquote von Quellentreue und liefert acht Prüffelder für die Bewertung entsprechender Angebote.

Grounding bezeichnet die Verankerung einer Modellantwort in einer benennbaren, abrufbaren Datenquelle statt im Parameterwissen des Modells. Die verbreitetste Umsetzung ist Retrieval-Augmented Generation (RAG), bei der zur Anfrage passende Textstellen gesucht und dem Modell mitgegeben werden. GraphRAG ersetzt oder ergänzt die Textsuche durch die Abfrage eines Wissensgraphen, in dem Entitäten und ihre Beziehungen explizit modelliert sind.

Für regulierte Umgebungen ist das kein Modellthema, sondern ein Nachweisthema. Eine Antwort ohne benennbare Quelle lässt sich nicht prüfen, nicht reproduzieren und nicht in eine Dokumentation überführen. Anbieter werben deshalb mit Grounding und mit dem Zusatzversprechen, ihr System halluziniere nicht. Die veröffentlichte Evidenz stützt einen Teil dieser Versprechen deutlich und einen anderen Teil gar nicht. Die Trennlinie verläuft nicht dort, wo Anbieterpräsentationen sie ziehen.

Der Nutzen ist konditional

Der aufschlussreichste Befund der letzten Jahre ist ein kontrollierter Negativbefund. In einer Untersuchung aus dem Jahr 2026 wurde dieselbe Grounding-Pipeline über einen öffentlichen biomedizinischen Wissensgraphen zweimal getestet. Bei Fragen, deren Fakten in diesem öffentlichen Graphen stehen, verbesserte das Grounding die Antworten starker Modelle nicht: Der Unterschied lag bei höchstens 3,4 Punkten in beide Richtungen. Bei Fakten, die außerhalb der Trainingsdaten der Modelle lagen, hob dieselbe Pipeline die Korrektheit von rund 22 Prozent auf nahezu 100 Prozent.

Die Erklärung ist unspektakulär und folgenreich: Ein Modell, das die Fakten eines öffentlichen Fachgraphen bereits aus dem Training kennt, gewinnt durch deren erneute Vorlage nichts. Ein Modell, das die Fakten nicht kennen kann, gewinnt fast alles.

Für die Bewertung eines Angebots folgt daraus ein einfaches Kriterium. Eine Demonstration auf öffentlich verfügbarem Fachwissen, auf Leitlinien, Lehrbuchinhalten oder publizierten Standards, zeigt über den Nutzen des Groundings praktisch nichts, weil das Modell dieselbe Antwort auch ohne den Graphen liefert. Der Nutzen entsteht bei hausinternen Inhalten: SOPs, Spezifikationen, Validierungsdokumentation, Abweichungsakten, sponsoreigene Terminologie, interne Studien-Metadaten. Diese Inhalte sind per Definition Wissen außerhalb des Trainings. Wer eine Pilotierung plant, sollte sie deshalb ausschließlich auf solchen Beständen aufsetzen.

Der Befund stammt aus einem Preprint und ist nicht unabhängig repliziert.

Die belegten Effektgrößen

Auf der positiven Seite existieren begutachtete Arbeiten mit klaren Zahlen. Ein Verfahren, das medizinische Fragen über einen aus UMLS-Vokabularen wie SNOMED CT und ICD-10 verankerten Graphen beantwortet, hob die Trefferquote auf dem MedQA-Datensatz von 81,7 auf 91,3 Prozent gegenüber reinem Prompting. Ein Retrieval-Verfahren über den Wissensgraphen SPOKE mit 42 Millionen Knoten verbesserte ein vergleichsweise kleines Modell um 71 Prozent, von 0,31 auf 0,53. Ein drittes Verfahren über einen Alzheimer-Wissensgraphen erreichte bei mehrstufigen Fragen 14 Punkte Verbesserung bei einstufigen und 19 Punkte bei zweistufigen Verknüpfungen.

Diese Zahlen tragen vier Einschränkungen, die in Anbieterzitaten meist fehlen.

Erstens sind die Stichproben klein, meist 50 bis 200 Fragen. Zweitens handelt es sich um Einzelstudien ohne unabhängige Replikation. Drittens sind die Vergleichsbasen uneinheitlich: Einmal wird gegen ein reines Sprachmodell verglichen, einmal gegen dasselbe Rahmenwerk ohne Graphen, und in mehreren Fällen ist der Beitrag des Graphen mit anderen Änderungen vermischt, etwa mit einer veränderten Prompt-Strategie oder mit Fine-Tuning.

Viertens, und für dieses Publikum am wichtigsten: Sämtliche Untersuchungen messen Prüfungs- und Vorhersagefragen. MedQA besteht aus Examensfragen, andere Arbeiten nutzen Behandlungsdaten aus Klinikdatenbanken. In den für diesen Beitrag ausgewerteten Arbeiten findet sich keine, die den Nutzen in einem regulierten Arbeitsablauf misst, also an einem Protokoll, einer Abweichungsbewertung, einem Validierungsdokument oder einem Studienbericht. Der Transfer von der Examensfrage auf den GxP-Prozess ist eine Annahme, keine Messung.

Quellentreue statt Trefferquote

Der mechanistisch sauberste Befund betrifft eine andere Größe. Ein Verfahren, das die Generierung technisch auf Pfade im Wissensgraphen beschränkt, erreichte einen Anteil quellentreuer Antworten von 100 Prozent gegenüber 48 bis 62 Prozent ohne diese Beschränkung. Der Zugewinn an fachlicher Trefferquote im medizinischen Teil betrug dabei nur 2 bis 4 Punkte, und die Arbeit stammt aus dem allgemeinen Bereich, nicht aus der Biomedizin. Sie wurde auf der ICML 2025 veröffentlicht.

Das Ergebnis lohnt trotzdem die Aufmerksamkeit, weil es zwei Größen trennt, die in Anbietergesprächen verschmelzen. Die Trefferquote misst, ob die Antwort inhaltlich richtig ist. Die Quellentreue misst, ob die Antwort aus dem vorgelegten Bestand stammt und nicht aus dem Modellgedächtnis. Eine Antwort kann richtig und zugleich nicht quellentreu sein: Das Modell kennt die Antwort, hat sie aber nicht aus dem freigegebenen Dokument.

In einem regulierten Umfeld ist die zweite Größe die relevantere. Eine inhaltlich richtige Aussage, die nicht auf den freigegebenen Stand zurückführbar ist, hilft weder im Audit noch bei einer Änderung des zugrundeliegenden Dokuments. Beim nächsten SOP-Update bleibt sie unverändert richtig klingend und wird still falsch. Ausgewiesen wird von Anbieterseite die Trefferquote. Die Frage nach der Quellentreue und nach dem Verfahren, mit dem sie gemessen wurde, ist deshalb aussagekräftiger als jede Prozentzahl auf einem öffentlichen Benchmark.

Die Grenze des Ontologie-Arguments

Ein zweites Versprechen begegnet einem in Architekturdiskussionen: Eine formale Ontologie mit Axiomen und Regelprüfung mache die KI verlässlicher als ein einfacher Graph. Diese Aussage ist derzeit nicht belegt.

Über die verfügbaren biomedizinischen Arbeiten hinweg stammen die demonstrierten Gewinne fast durchgehend aus zwei Quellen: aus der Graphstruktur selbst, also aus explizit modellierten Beziehungen und daraus ableitbaren Pfaden, und aus der Verankerung von Entitäten in kontrollierten Vokabularen. Die untersuchten Graphen sind Property-Graphen, abgefragt über Cypher; die genutzte Semantik ist Vokabularverankerung, nicht formale Axiomatik.

Es existiert eine begutachtete Arbeit, die tatsächlich eine formale Ontologie einsetzt und eine Reduktion der Halluzinationsrate von 63 beziehungsweise 48 Prozent auf 1,7 Prozent berichtet. Sie beruht auf 60 Fragen und einer eigens gebauten Ontologie, und ein zusätzlich kursierender Genauigkeitswert aus derselben Arbeit hielt einer Gegenprüfung nicht stand. Vor allem aber isoliert auch sie den Beitrag der formalen Semantik nicht: Es fehlt der Vergleich gegen einen datengleichen Graphen ohne Axiome.

Die praktische Konsequenz ist keine Absage an Ontologien. Sie tragen Interoperabilität, Terminologieabgleich, stabile Bezeichner und Governance, und das sind belastbare Gründe. Als belegter KI-Vorteil sind sie derzeit nicht zu haben. Wer sie so verkauft oder so einkauft, stützt eine Investitionsentscheidung auf eine Plausibilität.

Abfragepfade

Ein dritter Befund betrifft die technische Umsetzung. Eine Untersuchung auf Basis von SNOMED CT und synthetischen Patientendaten verglich, wie gut Sprachmodelle Abfragen für vier verschiedene Datenbankmodelle erzeugen. Die Erzeugung von SPARQL, der Abfragesprache für RDF-Bestände, schnitt durchgehend am schlechtesten ab: 30,5 Prozent gegenüber 57,5 Prozent bei SQL und 57,1 Prozent bei Cypher. Die Autoren führen das auf die geringe Repräsentation von SPARQL in den Trainingsdaten zurück.

Für die Gestaltung eines Werkzeugs heißt das: Ein Entwurf, bei dem das Modell aus der Nutzerfrage frei eine semantische Abfrage generiert, ist der fragilste der verfügbaren Wege. Retrieval über vorbereitete Zugriffsmuster oder eine auf den Graphen beschränkte Generierung sind belastbarer. Diese Frage gehört in die Anforderungsbeschreibung, nicht in die spätere Fehlersuche.

Der regulatorische Rahmen begrenzt den Einsatzort

Für den GMP-Bereich beantwortet der aktuelle Entwurfsstand einen Teil der Frage bereits. Der Annex-22-Konsultationsentwurf der EU-Kommission vom 7. Juli 2025 deckt generative KI und große Sprachmodelle für kritische GMP-Anwendungen nicht ab und sieht deren Einsatz dort nicht vor. Solange dieser Stand gilt, verhandelt die Grounding-Diskussion nicht die Frage, ob ein Sprachmodell eine qualitätskritische Entscheidung treffen darf, sondern wie belastbar es in unterstützenden Rollen arbeitet: Recherche in Dokumentenbeständen, Entwurfserstellung, Konsistenzprüfung, Zusammenfassung. Die Einordnung des Entwurfs und eine Priorisierungsheuristik dafür beschreibt der Beitrag zum Drei-Zonen-Modell; die Verankerung im Validierungsdossier behandelt der Beitrag zu GAMP 5, CSA und AI Guide.

Diese Begrenzung entwertet das Thema nicht. Sie verschiebt es. In den unterstützenden Rollen ist Quellentreue die zentrale Eigenschaft, weil die Ausgabe in Dokumente einfließt, die später geprüft werden.

Acht Prüffelder für das Anbietergespräch

PrüffeldFrage an den AnbieterTypische Lücke
WissensbasisWelche Bestände liegen dem System zugrunde, und wer gibt sie frei?Demonstration läuft auf öffentlichem Fachwissen
VersionsstandWie und in welcher Frist wird ein Dokument- oder Terminologie-Update nachgezogen?Neuindexierung nicht dokumentiert
QuellennachweisWird je Aussage die Quelle mit Version ausgewiesen, nicht nur je Antwort?Sammelliste am Ende der Antwort
MessgrößeTrefferquote oder Quellentreue, und mit welchem Verfahren gemessen?nur Trefferquote auf öffentlichem Benchmark
TestdatensatzWer hat ihn erstellt, und enthält er hauseigene Inhalte?Benchmark aus der Trainingsdomäne
Fehlende DeckungWie verhält sich das System, wenn die Wissensbasis die Frage nicht abdeckt?kein definiertes Verhalten, freie Generierung
ReproduzierbarkeitLiefert dieselbe Frage nach einem Modellwechsel dieselbe Antwort?Modell wird anbieterseitig ohne Ankündigung getauscht
ProtokollierungWerden Anfrage, Antwort, herangezogene Quellen und Modellversion aufgezeichnet?nur Nutzungsstatistik

Die letzte Zeile verdient besondere Aufmerksamkeit, weil sie die Prüfbarkeit über die Zeit entscheidet. Ohne Aufzeichnung der Modellversion lässt sich eine vor sechs Monaten erzeugte Ausgabe nicht rekonstruieren, und damit fehlt die Grundlage, eine daraus abgeleitete Entscheidung nachzuvollziehen.

Vorgehen: vier Schritte

  1. Wissensbasis vor dem Werkzeug festlegen. Bestimmen, welche Dokumente und Datenbestände das System sehen darf, wer sie freigibt und wie ihr Versionsstand geführt wird. Diese Festlegung ist unabhängig vom Anbieter und überlebt einen Wechsel.
  2. Messgröße vertraglich benennen. Quellentreue als abzunehmende Eigenschaft aufnehmen, mit beschriebenem Messverfahren, nicht nur eine Trefferquote.
  3. Pilotierung ausschließlich auf hauseigenen Inhalten. Öffentliche Fachinhalte im Pilotumfang ausschließen, weil sie den Effekt des Groundings verdecken.
  4. Reproduzierbarkeitstest einplanen. Einen festen Fragensatz definieren und ihn nach jedem Modell- oder Versionswechsel erneut ausführen, mit dokumentiertem Vergleich der Antworten.