KI überwacht KI: Wie Chatbots zuverlässig und sicher gebaut werden können

KI-Kompetenzzentrum MedienKI überwacht KI: Wie Chatbots zuverlässig und sicher gebaut werden können
KI-Kompetenzzentrum Medien/Werkstattberichte

KI überwacht KI: Wie Chatbots zuverlässig und sicher gebaut werden können

Blaue Grafik: Klemmbrett mit Kolben voller Leiterbahnen, daran grünes Etikett „KI“; links Gehirn mit Binärzahl 010110 und Mikrochip; rechts grünes Häkchen.

KI.M-Werkstattbericht | Projekt 25/01 | in Progress

Der Digitalchef eines bayerischen Radiosenders kam mit einer konkreten Frage auf das KI-Kompetenzzentrum Medien (KI.M) zu: Können aktuelle Large Language Models (LLMs) mehr leisten als die bestehenden Chatbot-Lösungen, die bereits heute bei verschiedenen Radiosendern im Einsatz sind?

Projektziele

Im Gespräch mit dem Sender wurde schnell zwei konkrete Anforderungen deutlich: Erstens die Frage, ob sich Live-Transkripte des laufenden Radioprogramms als Wissensquelle für einen Chatbot nutzen lassen. Dies würde es dem System ermöglichen, konkrete Fragen zum aktuellen Programm zu beantworten – eine Funktionalität, die bei bestehenden Lösungen in der Regel nicht verfügbar ist.

Zweitens sollte untersucht werden, wie sich Chatbots sicherer betreiben lassen als aktuelle Marktlösungen. Das Hauptproblem: die Chatbots lassen sich auf nahezu jede Art von Gespräch ein. Bei Tests mit einem bereits im Livebetrieb befindlichen Chatbot eines anderen Anbieters konnten wir beispielsweise erfolgreich stark polarisierte politische Diskussionen führen oder das System dazu bringen, Code für einfache Anwendungen zu generieren. Solche Interaktionen sind potenziell ein Reputationsrisiko für Medienunternehmen.

Geplante Umsetzung

Zur gleichzeitigen Lösung beider Kernfragen – der Einbindung von Live-Programmdaten und der Kontrolle unerwünschter Interaktionen – soll der Ansatz einer Doppel-LLM-Architektur verfolgt werden. 

Anforderung 1: Live-Daten-Integration durch RAG-Verfahren

Für die Integration der Live-Transkripte wird ein sogenanntes RAG-Verfahren (Retrieval-Augmented Generation) zum Einsatz kommen. Diese Technik ermöglicht es dem Sprachmodell, vor der Beantwortung einer Anfrage gezielt auf externe, sich verändernde Informationen zuzugreifen. Im konkreten Fall umfasst dies sowohl die Live-Transkripte des laufenden Radioprogramms als auch die statischen Inhalte der Sender-Website.
Der entscheidende Vorteil könnte darin bestehen, dass – im Gegensatz zu herkömmlichen Chatbots mit statischem Wissen – eine dynamische Wissensquelle integriert wird. So könnte das System etwa die Frage „Welcher Song lief gerade vor fünf Minuten?“ auf Basis der Live-Transkripte beantworten – eine Möglichkeit, die marktübliche Lösungen meist nicht bieten.

Anforderung 2: Sicherheitsarchitektur gegen unerwünschte Interaktionen

Um zu verhindern, dass der Chatbot in politische Diskussionen, Code-Generierung oder andere themenfremde Bereiche abdriften könnte, wird ein zweistufiger Kontrollmechanismus nach dem Prinzip „KI überwacht KI“ implementiert. Dieser besteht aus zwei spezialisierten Sprachmodellen, die unterschiedliche Rollen übernehmen.

Doppel-LLM-Architektur: Der Verarbeitungsprozess im Detail

Geht eine Nutzeranfrage ein, durchläuft sie einen strukturierten Prozess, der beide Projektziele berücksichtigt:

Schritt 1: Analyse und Kontextabruf

Die eingehende Anfrage soll analysiert und in eine strukturierte Informationsabfrage übersetzt werden. Gleichzeitig wird geprüft werden, ob die Anfrage thematisch in den Bereich „Radiosender und/oder aktuelles Programm“ fällt. Nur dann sollen relevante Kontextinformationen aus dem RAG-System – also den Live-Transkripten und Website-Inhalten – abgerufen und der Anfrage hinzugefügt werden.

Schritt 2: Antwortgenerierung

Ein spezialisiertes Sprachmodell, der „Generator“, soll auf Basis der angereicherten Anfrage eine Antwort erstellen. Dabei kann es sowohl auf aktuelle Programminformationen als auch auf allgemeine Inhalte des Senders zurückgreifen. Die Antwort soll jedoch nicht sofort an die nutzende Person ausgegeben werden.

Schritt 3: Qualitätskontrolle durch den Kritiker

Hier greift der Sicherheitsmechanismus gegen unerwünschte Interaktionen: Ein zweites Sprachmodell, der „Kritiker“, übernimmt die Rolle der automatisierten Qualitätssicherung. Es erhält drei Informationen: die ursprüngliche Nutzeranfrage, den aus dem RAG-System bezogenen Kontext sowie die vom Generator formulierte Antwort.
Der Kritiker soll systematisch prüfen, ob die Antwort die definierten Kriterien erfüllt: Ist sie inhaltlich konsistent mit den verfügbaren Daten? Bleibt sie im thematischen Rahmen eines Radiosender-Chatbots? Entspricht sie den redaktionellen Richtlinien? Diese Richtlinien werden im System-Prompt des Kritikers als verbindlicher Rahmen hinterlegt und definieren explizit, welche Arten von Anfragen nicht beantwortet werden sollen.

Schritt 4: Iterative Verbesserung oder Ablehnung

Falls die Antwort die Sicherheitskriterien nicht erfüllt – beispielsweise weil sie sich zu weit vom Radiosender-Kontext entfernt – soll das Kritiker-LLM sie ablehnen. Es sendet nicht nur die Ablehnung, sondern auch eine differenzierte Begründung an den Generator zurück, der daraufhin eine überarbeitete Version erstellt. Dieser Korrekturprozess kann bis zu dreimal durchlaufen werden.
Sollte auch nach dem dritten Versuch keine zufriedenstellende Antwort entstehen, interpretiert das System dies als Hinweis darauf, dass die Anfrage außerhalb des vorgesehenen Anwendungsbereichs liegt. In diesem Fall soll es mit einer vordefinierten, höflichen Standardantwort reagieren und an den menschlichen Hörerservice verweisen.

Erwartete Ergebnisse

Die Machbarkeitsstudie soll zeigen, ob die Integration von Live-Transkripten grundsätzlich technisch umsetzbar ist und dem Chatbot ermöglicht, konkrete Fragen zum laufenden Programm zu beantworten. Dieser Mehrwert gegenüber bestehenden Marktlösungen erscheint aus technischer Sicht realisierbar.
Bezüglich der Sicherheitsarchitektur erwarten wir, dass Halluzinationen – also vollständig erfundene Antworten – durch das geplante Doppel-LLM-System weitestgehend vermieden werden können.
Im Rahmen der Machbarkeitsstudie sollen geeignete Schwellenwerte und Mechanismen identifiziert werden, mit denen das System erkennen kann, wann eine Unterhaltung den eigentlichen Anwendungsbereich verlässt. In solchen Fällen soll der Chatbot die Unterhaltung höflich beenden und an den menschlichen Hörerservice weiterleiten.

Bei der Erstellung des Beitragsbildes sowie des Textes kam generative Künstliche Intelligenz unterstützend zum Einsatz.

Von

Wir freuen uns, euch vom 22. – 24. Oktober 2025 auf den #MTM25 begrüßen zu dürfen. Mit der „Media For You“ gibt es auch wieder die beliebte Career-Erlebnismesse zum Thema Jobs & Ausbildung.

toggle icon