RAG-Systeme für Medienhäuser: 6 Wege zu kontrollierbaren KI-Outputs

Mit Retrieval-Augmented Generation (RAG) können Redaktionen wesentliche Schwachstellen von Sprachmodellen ausgleichen: Das Risiko von Halluzinationen kann merklich verringert werden und Modelle können so auf Wissensbestände zugreifen, die nur auf firmeninternen Datenbanken existieren. RAG-Verfahren entlasten bei der Recherche, machen Archive endlich wieder greifbar und haben das Potenzial, neue Monetarisierungsmodelle zu erschließen.

Auf dem Papier ist der Aufbau einer solchen RAG-Pipeline sehr simpel: Ein Sprachmodell wird durch eine speziell zugeschnittene Datenbank erweitert. Damit können sowohl der Inhalt als auch die Modell-interne Suche nach passenden Antworten konkreter gestaltet werden.

Wie genau RAG-Systeme funktionieren und was das für die praktische Anwendung in Medienhäusern bedeuten kann, hat das KI-Kompetenzzentrum Medien (KI.M) aufbereitet.

Was sind RAG-Systeme?

Retrieval-Augmented Generation (zu Deutsch etwa „Abrufgestützte Erweiterung“) ist ein mehrstufiger Prozess. Dieser Prozess läuft jedes Mal ab, wenn ein User ein entsprechend modifiziertes Sprachmodell verwendet. RAG-Systeme arbeiten mit zusätzlichen Wissensquellen, auf die sich ein Sprachmodell bezieht. In der Konsequenz bedeutet das, dass es weniger themenfremde oder halluzinierte Antworten im Output gibt, denn das Sprachmodell referenziert diese Datenquelle. In der Praxis können das Datengraphen interner oder externer Datenbanken, Firmenarchive oder Metadaten, aber auch externe Echtzeitdaten sein.

Das Besondere an einem RAG-Verfahren ist, dass es sich nicht einfach im Hinzufügen einer Datenquelle erschöpft. Vielmehr wird die Nutzeranfrage (Query) dynamisch um relevante Fakten aus dem Zusatzwissen erweitert (Context Augmentation).

Zentral ist der System Prompt: Er gibt vor, wie das Modell auf Daten und den User Input zu reagieren hat. Die passenden abgerufenen Daten werden dann in den System Prompt eingefügt und zu einem erweiterten Prompt (bestehend aus System Prompt, abgerufenem Kontext und der Anfrage des Users) kombiniert und an das Sprachmodell gesendet. Das Modell wird so gezwungen, seine Token-Wahrscheinlichkeiten an den aufbereiteten Daten zu orientieren und sich nicht nur auf das vortrainierte Wissen zu stützen.

Mit diesem erhält erst das System die Anweisung, vor dem Output spezifische Datenquellen nicht nur inhaltlich zu konsultieren, sondern sie als Leitfaden für die weitere Gewichtung bei der Wahrscheinlichkeitsrechnung zu verwenden. RAG ist damit weder das Hinzufügen reiner Wissensquellen noch eine reine Prompt-Anpassung, sondern die Kombination aus beidem.

Wie funktionieren RAG-Systeme?

Wenn Redaktionen also wollen, dass ein Sprachmodell sich nur auf das Thema der Anfrage und die entsprechenden Inhalte aus dem eigenen Datenfundus beruft, muss also die Pipeline des Systems um Datenbanken oder andere designierte Wissensbestände ergänzt werden. Das Modell muss diese Daten auswerten können, damit dieser Prozess funktionieren kann. In der Praxis funktioniert dieser Prozess in vier Phasen:

Phase 1: Die Daten, die als Referenz dienen sollen, werden in Vektoren überführt. Ein Embedding-Modell, das deutlich kleiner als reguläre Sprachmodelle ist, zerlegt die Datensätze dafür in kleinere Bestandteile („Chunks“) und natürliche Sprache in numerische Tokens. Einmal codiert, werden sie vernetzt und im Betrieb anhand ihrer Ähnlichkeit als mehr oder weniger wahrscheinlich bewertet.

Phase 2: Bei einer Suchanfrage sucht und sammelt (Retrieving) das System jetzt anhand dieses Kontextes Daten relevante Informationen. Ein kleines Embedding-Modell versucht, die Nutzeranfrage in einen Vektor umzuwandeln. Die Vektordatenbank wird mit einem Suchalgorithmus nach ähnlichen Vektoren durchsucht. Es hat nun herausgefunden, was für diese Anfrage im Kontext der Wissensquelle relevant ist. Das System promptet dafür die ursprüngliche Eingabe entlang des hinzugefügten Kontextes intern neu. Es filtert dabei, welche semantischen Korrelationen aus den in der Datenbank urheberrechtlich geschützten Daten für die Anfrage Relevanz haben.

Phase 3: Im Augmentierungsprozess werden der eingangs gestellten Eingabe die Informationen aus dem Input hinzugefügt. Wie exklusiv sich das Modell auf diesen Datensatz beziehen wird, ist im Prompt definiert. Nischenthemen können durch eine kuratierte Datengrundlage besser bedient und heikle Informationen besser kontrolliert werden. Zwei Punkte sind dabei entscheidend, unabhängig davon, ob Daten aus internen oder externen Quellen stammen: Sie müssen aktuell und akkurat sein. Jeder Fehler und jede Lücke verfälscht das Ergebnis.

Phase 4: Der finale Prompt für die Generation des Outputs ist der mit den ausgewählten Daten kombinierte System Prompt. Ab hier operiert das Sprachmodell wieder unverändert. Generell unterscheidet sich ein RAG-Verfahren von einer regulären Sprachmodell-Anwendung durch die Dateneingabe und den Prompt.

Warum sind RAG-Verfahren für Redaktionen so interessant?

Generative Künstliche Intelligenz hat einen erheblichen Einfluss auf die Medienbranche. Die Herausforderungen, die durch Gen AI entstehen, sind vielfältig: Falschnachrichten entstehen in einem schnelleren Tempo als zuvor – das Vertrauen in die Medien leidet darunter. Zeitgleich sind die Potenziale von generativen Technologien ein gern genutztes Mittel, um Kosten zu sparen. Insbesondere, wenn es um Masse statt Qualität geht, wird KI attraktiv. RAG-Verfahren sind ein Weg, um die Möglichkeiten von KI mit einem Qualitätsanspruch zu verbinden.

1. RAG-Anpassungen sind kosteneffizient und sofort wirksam.

Finetuning ist extrem aufwändig. RAG ist hingegen ein einfacher Weg, um Wissen bereitzustellen und es kontrolliert auszugeben. RAG kann ein erster vorbereitender Schritt sein, der einem Finetuning vorausgeht und trotzdem eine Qualitätssteigerung ermöglicht.

2. RAG-Verfahren sorgen für Aktualität im KI-Output.

Während vortrainierte Sprachmodelle einen konkreten Stichtag für ihre Aktualität haben, an dem der Trainingsdatensatz eingefroren wurde, kann ein Modell durch Zugriff auf Echtzeitdaten auf dem Laufenden bleiben.

3. RAG-Verfahren sind faktisch akkurater und können ihre Aussage belegen.

Richtig gepromptet und mit der richtigen Datenbank verbunden, kann ein Modell gezwungen werden, Quellen und Zitate anzugeben. Das ist nicht nur entscheidend, um Content intern besser überprüfen zu können, sondern kann ein wichtiger Vertrauensmarker nach außen sein.

4. RAG ermöglicht mehr Kontrolle über den Output.

Die Technik hinter Sprachmodellen kann durch ein RAG-Verfahren nicht grundlegend verändert werden. Der Output selbst beruft sich jedoch auf Quellen, die von seinen Anwendern ausgesucht wurden.

5. RAG-Verfahren taugen als Assistenten beim Faktencheck und der Recherche.

Insbesondere bei journalistischen Inhalten gilt: Menschliche Kontrolle ist unerlässlich. Aber ein RAG-System kann dabei helfen, Material vorzusortieren und Teams in die richtige Richtung zu locken.

6. RAG-Verfahren bieten neue Produkt- und Monetarisierungsmöglichkeiten.

KI ist mehr als nur Effizienzgewinn. Bei RAG-Verfahren wird das deutlich: Neue Serviceangebote im Kundenservice, die Personalisierung von Inhalt oder auch Content-Moderation werden durch sie erleichtert. Das KI-Reallabor des KI.M hat zum Beispiel getestet, wie Live-Radio-Transkripte als Wissensquellen verwendet werden können.

KI.M-Praxistipp: Was beim Einsatz von RAG beachtet werden muss

Auch ein RAG-Verfahren kommt nicht ohne menschliches Zutun aus. Der Mensch spielt eine entscheidende Rolle beim Aufbau und der Anpassung des Systems. Insbesondere bei der Datenqualität und beim Datenschutz gibt es einige Punkte zu beachten.

Tipp 1: Datenmenge

RAG-Verfahren können große Datenmengen benötigen, wenn sehr viel externes Wissen abgerufen wird. Mitunter kann das zu sehr langen Prompts führen, die nicht von allen Sprachmodellen bearbeitet werden können. Je nach Setup sind kleinere Modelle sogar prädestiniert für RAG-Verfahren, wenn die RAG-Pipeline entsprechend konfiguriert wird. Ergänzend können eine Doppel-LLM-Architektur oder Finetuning helfen: Ein großes Modell reformuliert und komprimiert den Prompt, ein kleineres, fein abgestimmtes Modell führt ihn zügig durch.

Tipp 2: Datenschutz

Es ist empfehlenswert, bei RAG-Verfahren mit On-Premise-Modellen zu arbeiten. So kann verhindert werden, dass Modelle, die auf sensible, unveröffentlichte oder geschützte Daten zugreifen, Daten an die Server von Dritten weiterleiten. RAG-KI-Systeme sollten nur mit bestimmten Zugriffsrechten operieren, über die das Team volle Kontrolle hat.

Tipp 3: Datenrichtigkeit

Die Kontrolle über die Informationen, mit denen das Modell arbeitet, liegt bei den Entwickler:innen. Das bedeutet auch, dass der Erfolg der Maschine maßgeblich von deren KI-Kompetenz abhängig ist. Stimmt die Grundlage nicht, funktionieren die besten Systeme nicht. Und dafür braucht es gut geführte Archive und ordentliche Metadaten.

Fazit: Mit RAG KI kontrolliert und faktentreu nutzen

RAG-Verfahren bieten Medienhäusern einen pragmatischen Einstieg in die kontrollierte Nutzung generativer KI. Sie verbinden die Leistungsfähigkeit großer Sprachmodelle mit der Verlässlichkeit redaktionell kuratierter Datenbestände. Sie punkten dort, wo klassische Sprachmodelle versagen: weniger Halluzinationen, Zugriff auf aktuelle, firmeneigene Informationen und transparente Quellenangaben. Die Implementierung bleibt dabei vergleichsweise kosteneffizient und schnell umsetzbar.

Entscheidend für den Erfolg ist jedoch die Datenqualität: RAG-Systeme sind nur so gut wie die Archive und Metadaten, mit denen sie arbeiten. Wer diese Grundlagen schafft und klare Datenschutzrichtlinien etabliert, gewinnt nicht nur ein mächtiges Recherche- und Produktionswerkzeug, sondern erschließt sich auch neue Möglichkeiten für innovative Serviceangebote. RAG ist kein Allheilmittel, aber ein wichtiger Baustein auf dem Weg zur verantwortungsvollen KI-Nutzung im Journalismus.