Zum Hauptinhalt springen

System-Prompt & Testfälle

Der System-Prompt ist die zentrale Anweisung, die das Verhalten deines Assistenten steuert. Hier legst du fest, wie er antwortet, welche Regeln er befolgt und welchen Ton er anschlägt.

Was ist der System-Prompt?​

Der System-Prompt ist eine Nachricht, die deinem Assistenten mitgegeben wird, bevor er eine Antwort formuliert. Er definiert:

  • Rolle und Persönlichkeit: z. B. "Du bist ein freundlicher Support-Mitarbeiter"
  • Verhaltensregeln: z. B. "Antworte immer auf Deutsch und bleibe höflich"
  • Fachliche Vorgaben: z. B. "Verweise bei Rechtsfragen an die Rechtsabteilung"
  • Formatvorgaben: z. B. "Antworten in Stichpunkten, maximal 5 Sätze"

So erreichst du die Einstellung​

  1. Öffne den Space oder Assistenten
  2. Gehe zu den Einstellungen
  3. Wähle den Bereich Prompt

Tipps für gute System-Prompts​

  • Sei konkret: Statt "Sei hilfreich" besser "Beantworte Fragen auf Basis der Dokumente im Space"
  • Gib Beispiele: Zeige erwünschte Antwortformate, wenn möglich
  • Definiere Grenzen: Sag klar, was der Assistent nicht tun soll
  • Halte ihn aktuell: Überarbeite den Prompt, wenn sich Anforderungen ändern

Testfälle​

Unter dem Prompt-Bereich kannst du im Tab Testfälle Beispiel-Fragen mit erwarteten Antworten anlegen. Damit prüfst du nach Prompt-Änderungen gezielt, ob der Assistent weiter wie gewünscht reagiert. Die Ausführung und Statusänderungen werden dabei laufend aktualisiert, sodass du gestartete Tests direkt im Tab verfolgen kannst.

Wenn du einen Test startest, zeigt CLYE AI jetzt zusätzlich einen Live-Trace der laufenden Ausführung. So siehst du während des Tests Schritt für Schritt, was bereits passiert ist, statt erst nur auf das Endergebnis zu warten.

Testfall anlegen​

  1. Wechsle zum Tab Testfälle
  2. Klicke auf Testfall hinzufügen
  3. Vergib einen Titel für den Testfall
  4. Hinterlege die Chat-Historie oder importiere sie aus einer Vorschau
  5. Formuliere einen Verifikations-Prompt, der klar beschreibt, woran eine erfolgreiche Antwort erkannt wird
  6. Lege bei Bedarf ein Timeout fest
  7. Optional: Trage einen Permission-Filter als JSON ein, wenn der Test nur mit einem eingeschränkten Datenzugriff laufen soll
  8. Speichere den Testfall

Beim nächsten Test kannst du alle Testfälle auf einmal ausführen und siehst sofort, wo der Assistent vom gewünschten Verhalten abweicht.

Optionalen Permission-Filter pro Testfall verwenden​

Jeder Testfall kann optional einen eigenen Permission-Filter enthalten. Damit simulierst du, wie sich derselbe Assistent verhält, wenn für diesen Test nur ein bestimmter Teil der Daten sichtbar sein soll.

Das Feld erwartet ein JSON-Objekt in derselben Filter-DSL wie bei Assistant-Access-Links. Leer bedeutet: Der Test läuft ohne zusätzlichen Datenfilter und nutzt nur die normalen Rechte der ausführenden Person.

Beispiel:

{
  "cs2rech1.offauf.V20KDAUF": { "eq": "180333" }
}

Praktisch ist das vor allem, wenn du Testfälle für unterschiedliche Mandanten, Teams oder Datenbereiche getrennt absichern willst, ohne dafür mehrere Assistenten zu pflegen. Achte darauf, dass der Filter gültiges JSON ist und als oberste Ebene ein Objekt verwendet.

Ergebnisse und Live-Trace lesen​

Nach dem Start eines Testfalls oder eines Testlaufs kannst du die Detailansicht öffnen. Dort findest du:

  • den aktuellen Status des Laufs
  • die Antwort des Assistenten
  • die erwartete Antwort zum direkten Vergleich
  • einen Live-Trace mit Zwischenschritten der Ausführung

Der Live-Trace hilft dir vor allem dann, wenn ein Test hängen bleibt, unerwartet lange läuft oder anders reagiert als gedacht. Du erkennst damit schneller, ob schon die Eingabe, ein Werkzeugaufruf oder erst die fertige Antwort vom Erwarteten abweicht.

Die Ausführung und Statusanzeige der Testfälle aktualisiert sich dabei direkt in der Oberfläche. Du musst die Seite also nicht erst manuell neu laden, um gestartete oder abgeschlossene Läufe zu sehen.

tipp

Testfälle sind besonders nützlich, wenn du den Prompt regelmäßig anpasst und sicherstellen willst, dass bestehende Qualitätsstandards erhalten bleiben.

Inhalt