Publiziert: Zuletzt aktualisiert:

KI-Evaluation und Guardrails

KI-Evaluation und Guardrails: vom funktionierenden Demo zur vertrauenswürdigen Produktion

Man kann keine KI verantwortlich ausliefern, die man nicht messen kann: Evaluation prüft systematisch, ob die Qualität stimmt, und Guardrails fangen im Betrieb ab, was trotzdem schiefgeht. Zusammen sind sie die Brücke vom funktionierenden Demo zur vertrauenswürdigen Produktion.

Ein Sprachmodell, das in der Vorführung überzeugt, ist noch kein verlässlicher Dienst. Dieselbe Eingabe kann morgen eine andere Antwort liefern, eine erfundene Tatsache enthalten oder durch eine geschickt formulierte Anweisung aus der Rolle fallen. Wer KI in einen Geschäftsprozess einbaut, braucht deshalb zwei Mechanismen, die sich ergänzen. Evaluation beantwortet vor der Auslieferung die Frage, wie gut das System wirklich ist. Guardrails sorgen zur Laufzeit dafür, dass eine schädliche Eingabe oder eine schädliche Ausgabe gar nicht erst durchkommt. Diese Seite beschreibt, warum systematisches Messen bei nicht-deterministischen Systemen unverzichtbar ist, welche Methoden es dafür gibt, wie Guardrails die typischen Risiken abfangen, und warum beides ein fester Teil des KI-Betriebs ist.

Warum Evaluation, nicht Augenschein

Klassische Software ist deterministisch: Ein Testfall liefert immer dasselbe Ergebnis, und ein fixer Soll-Wert genügt als Kontrolle. Bei einem Sprachmodell gilt das nicht. Die Antwort variiert, sie ist selten exakt richtig oder falsch, und drei gelungene Beispiele aus der Entwicklung sagen wenig über das Verhalten in tausend echten Fällen. Genau deshalb ersetzt Evaluation das Bauchgefühl durch eine Messung über viele Fälle hinweg. Sie macht zwei Dinge überhaupt erst möglich: zu entscheiden, ob eine neue Version besser ist als die alte, und zu belegen, dass eine bestimmte Qualität erreicht wird. Ohne diese Messung bleibt jede Aussage über die Güte einer KI eine Behauptung, und ohne Beleg lässt sich auch keine KI-Governance führen, die eine Modellfreigabe an nachweisbare Qualität knüpft.

Methoden der Evaluation

Keine einzelne Methode deckt alles ab; in der Praxis werden sie kombiniert.

  • Test-Sets mit Referenzantworten. Eine kuratierte Sammlung von Eingaben mit gewünschten Ausgaben, gegen die jede neue Version läuft. Sie eignet sich dort, wo es eine klar richtige Antwort gibt, etwa bei Extraktion oder Klassifikation, und bildet die nachvollziehbare Grundlinie.
  • LLM-as-Judge. Ein zweites Modell bewertet die Antwort des ersten anhand eines klaren Kriteriums, etwa Korrektheit, Relevanz oder Tonalität. Das skaliert dort, wo es keine einzelne richtige Antwort gibt, braucht aber selbst eine Eichung, damit der Richter nicht eigene Verzerrungen einbringt.
  • Menschliches Feedback. Fachleute bewerten Stichproben oder markieren Fehler aus dem Produktivbetrieb. Es ist der teuerste, aber verlässlichste Massstab und liefert zugleich neues Material für die Test-Sets.

Aus dem Zusammenspiel entsteht ein belastbares Bild: Test-Sets fangen Regressionen automatisiert ab, LLM-as-Judge deckt die offenen Fälle in der Breite ab, und menschliches Feedback eicht beide und fängt, was keine Automatik sieht.

Guardrails, die Leitplanken im Betrieb

Evaluation prüft vor der Auslieferung; Guardrails wirken während des Betriebs. Sie sind Filter und Prüfungen rund um das Modell, die eine schädliche Eingabe abweisen oder eine fragwürdige Ausgabe abfangen, bevor sie den Nutzer erreicht. Drei Risiken stehen im Vordergrund:

  • Halluzination. Das Modell erfindet eine plausibel klingende, aber falsche Tatsache. Ein Guardrail prüft die Ausgabe gegen die abgerufene Quelle und blockiert oder kennzeichnet Antworten, die sich nicht belegen lassen.
  • Datenleck. Eine Antwort enthält Personendaten oder Internes, das nicht hinausgehören darf. Ein Ausgabefilter erkennt und schwärzt solche Inhalte, bevor sie das System verlassen.
  • Prompt-Injection und Jailbreak. Eine manipulierte Eingabe versucht, das Modell aus seiner Rolle zu lösen oder verbotene Inhalte zu erzeugen. Diese Angriffsklasse ist zugleich ein Sicherheitsthema und gehört in die Security-Strategie; aus Sicht der KI-Qualität zählt, dass ein Eingabefilter den Versuch erkennt und das Vertrauen in das System erhalten bleibt.

Guardrails ersetzen die Evaluation nicht, sie ergänzen sie: Evaluation senkt die Wahrscheinlichkeit, dass etwas schiefgeht, Guardrails begrenzen den Schaden, wenn es trotzdem passiert. Der Anspruch, KI nicht nur leistungsfähig, sondern auch verantwortbar zu bauen, ist die Werte-Ebene, die Digitale Ethik ausführt.

Der Prüf- und Schutzpfad

Evaluation und Guardrails greifen an verschiedenen Stellen, lassen sich aber als ein durchgängiger Pfad lesen: einmalig vor der Auslieferung gemessen, bei jeder Anfrage zur Laufzeit geschützt.

flowchart TD
    A["Eingabe"] --> B["Eingabe-Guardrail<br/>Injection, Jailbreak"]
    B --> C["Modell<br/>plus abgerufener Kontext"]
    C --> D["Ausgabe-Guardrail<br/>Halluzination, Datenleck"]
    D --> E["Antwort an Nutzer"]
    F["Evaluation vor Release<br/>Test-Sets, LLM-as-Judge, Feedback"] -.-> B
    F -.-> D
    E -.-> G["Traces und Feedback<br/>zurück in die Test-Sets"]
    G -.-> F

Die durchgezogene Linie ist der Laufzeitpfad jeder einzelnen Anfrage; die gestrichelten Linien zeigen, wie die Evaluation vor dem Release die Schwellen der Guardrails setzt und wie Produktiv-Traces als neues Prüfmaterial zurück in die Test-Sets fliessen. So wird aus zwei getrennten Massnahmen ein geschlossener Kreislauf, der mit jeder Iteration besser eicht.

Eval und Guardrails als Teil von LLMOps

Evaluation und Guardrails sind keine einmalige Abnahme, sondern eine Daueraufgabe. Modelle ändern still ihr Verhalten, Eingabedaten verschieben sich, neue Angriffsmuster tauchen auf. Genau deshalb gehören beide in den laufenden Betrieb, also in LLMOps und MLOps: Die Evaluation ist dort das Tor vor jeder Auslieferung, die Guardrails sind Teil der Beobachtung, und die Traces aus dem Produktivbetrieb füttern die nächste Runde. Das passende Tooling ist quelloffen und self-hostbar, was hier doppelt zählt: Die Telemetrie einer KI-Anwendung, also die echten Eingaben samt Daten, bleibt im eigenen Haus, statt zu einem fremden Anbieter zu fliessen. Plattformen für Evaluation und LLM-as-Judge wie Langfuse und Agenta lassen sich selbst betreiben, und spezialisierte Werkzeuge für Guardrails und Red-Teaming prüfen ein Modell gezielt auf Schwachstellen, bevor es produktiv geht.

Wo Evaluation und Guardrails brechen

  • Kein Test-Set. Eine neue Version geht live, weil sie in wenigen Beispielen gut aussah. Die Regression zeigt sich erst beim Nutzer, ohne dass jemand sie kommen sah.
  • Der Richter ist ungeeicht. LLM-as-Judge wird eingesetzt, ohne den Richter gegen menschliche Urteile zu kalibrieren. Dann misst die Evaluation die Verzerrung des Richters statt die Qualität der Antwort.
  • Guardrails nur am Ausgang. Nur die Ausgabe wird gefiltert, die Eingabe nicht. Eine Prompt-Injection wirkt bereits, bevor der Ausgabefilter überhaupt greift.
  • Theater statt Messung. Es gibt eine Kennzahl, aber niemand handelt danach. Eine Evaluation, deren Ergebnis keine Auslieferung stoppt, ist Dekoration.

Belege und Eingaben im eigenen Haus

Evaluation und Guardrails arbeiten mit den heikelsten Daten überhaupt, den echten Eingaben und Ausgaben einer produktiven Anwendung. Läuft das Tooling self-hosted, bleiben diese Belege im eigenen Haus, statt zu einem fremden Anbieter zu fliessen. Die Einordnung, welche Modelle auf welchen Daten mit welchem Nachweis freigegeben werden, ist die Leistung Tech-Radar und KI-Governance; die Nachweis- und Lieferkettenseite, auf der Eval-Belege und Guardrail-Prüfungen einzahlen, deckt die Dienstleistung Security, Compliance und OSPO ab. Die Mess- und Betriebsschicht, in die beides eingebettet ist, beschreibt die Kompetenz Observability und Telemetrie. Die Sicherheitssicht auf Prompt-Injection und Angriffsabwehr führt die Security-Strategie aus, die Werte-Ebene dahinter Digitale Ethik. Für Schweizer Organisationen ist das zugleich die Souveränitätsfrage: Bei einem US-Anbieter verlässt dieser Strom das Land, self-hosted bleibt er unter Schweizer Datenschutz.

Referenzen

Verwandte Themen

  • LLMOps und MLOps, der Betrieb, in den Evaluation und Guardrails eingebettet sind.
  • KI-Governance, die Freigabe, die sich auf Eval-Belege stützt.
  • Security-Strategie, die Sicherheitssicht auf Prompt-Injection und Angriffsabwehr.
  • Digitale Ethik, die Werte-Ebene hinter vertrauenswürdiger KI.
  • KI-Governance, die Freigabe von Modellen anhand von Risiko, Datenklasse und Nachweis.

KI fragen

Diese Links öffnen externe KI-Dienste, die Unterhaltung und deren Inhalt werden dabei an den jeweiligen Anbieter übertragen.