Serverstandort & Infrastruktur
Wo Ihre Daten gespeichert und verarbeitet werden, ist eine der wichtigsten Fragen im Unternehmenseinsatz von KI. Diese Seite gibt Ihnen einen vollständigen Überblick über die Infrastruktur des CLYE LLM Gateways.
Serverstandort: Europa
Der CLYE LLM Gateway wird auf Servern in der Europäischen Union betrieben. Das bedeutet:
- Alle Metadaten und Konfigurationen werden ausschließlich in der EU gespeichert
- Es gilt europäisches Datenschutzrecht (DSGVO)
- Kein Datentransfer in Drittstaaten ohne angemessenes Schutzniveau
- Hosting durch europäische Rechenzentrumsanbieter
Die DSGVO schreibt vor, dass personenbezogene Daten nur dann in Länder außerhalb der EU übertragen werden dürfen, wenn dort ein gleichwertiges Datenschutzniveau besteht. CLYE stellt sicher, dass alle Verarbeitungsschritte innerhalb der EU stattfinden.
Kubernetes-Infrastruktur: Isoliert & Hochverfügbar
Der Gateway läuft auf einer Kubernetes-Plattform, dem Industriestandard für skalierbare, sichere Anwendungen. Was das für Sie bedeutet:
Namensraum-Isolation
Der Gateway läuft in einem eigenen isolierten Namespace (llm-gateway). Das bedeutet, er ist von anderen Anwendungen auf derselben Infrastruktur vollständig getrennt, wie ein eigenes abgeschlossenes Zimmer.
Hochverfügbarkeit
Es laufen mindestens zwei parallele Instanzen des Gateways. Fällt eine aus, übernimmt die andere nahtlos, ohne Unterbrechung für Ihre Nutzer.
Automatische Gesundheitsprüfungen
- Alle 5 Sekunden prüft das System, ob der Gateway bereit ist, Anfragen anzunehmen
- Alle 10 Sekunden prüft das System, ob der Gateway korrekt läuft
- Reagiert der Gateway nicht, wird er automatisch neu gestartet
Minimale Angriffsfläche
Der Gateway läuft in einem minimalen Container-Image ohne Betriebssystem-Werkzeuge, Shell oder unnötige Bibliotheken. Was nicht installiert ist, kann auch nicht angegriffen werden.
Netzwerk-Sicherheit: Wer darf was erreichen?
Öffentlich erreichbar (nur diese Endpunkte)
Nur zwei Endpunkte sind aus dem Internet erreichbar:
| Endpunkt | Zweck |
|---|---|
POST /v1/chat/completions | KI-Anfragen stellen |
GET /healthz | Statusprüfung |
Alle Verwaltungsfunktionen (API-Keys anlegen, Provider konfigurieren, Budgets setzen) sind nur intern erreichbar, nicht aus dem Internet.
Interne Verwaltung: Doppelt gesichert
Administrative Funktionen sind durch zwei unabhängige Sicherheitsschichten geschützt:
- Netzwerk-Richtlinie: Nur bestimmte, explizit zugelassene Systeme dürfen die Verwaltungs-API überhaupt erreichen
- Token-Authentifizierung: Selbst wenn ein System im Netzwerk ist, braucht es noch einen gültigen Admin-Token
Diese „Defense in Depth“-Strategie bedeutet: Ein Angreifer müsste beide Schichten überwinden, was extrem unwahrscheinlich ist.
Zugriff auf externe KI-Anbieter
Wenn der Gateway eine Anfrage an OpenAI, Anthropic oder andere weiterleitet, gelten folgende Grundsätze:
- Ausgehend, nicht eingehend: Externe Anbieter können niemals aktiv auf Ihre Infrastruktur zugreifen: nur der Gateway ruft sie auf
- Verschlüsselte Verbindung: Alle Verbindungen zu externen Anbietern laufen über HTTPS/TLS
- Konfigurierbare Anbieter: Sie bestimmen, welche KI-Anbieter überhaupt genutzt werden dürfen
- Regionale Präferenzen: Wo ein Anbieter mehrere Regionen anbietet (z. B. EU-Rechenzentren von Azure/OpenAI), kann der Gateway bevorzugt diese nutzen
Ausfallschutz & Circuit Breaker
Der Gateway überwacht kontinuierlich die Verfügbarkeit und Latenz jedes konfigurierten KI-Anbieters:
| Kennzahl | Was wird gemessen |
|---|---|
| P50-Latenz | Typische Antwortzeit (Medianwert) |
| P95-Latenz | Antwortzeit im schlechtesten Fall |
| Fehlerrate | Anteil fehlgeschlagener Anfragen |
Wenn ein Anbieter 3-mal hintereinander fehlschlägt, wird er automatisch aus der Rotation genommen (Circuit Breaker). Nach einer Abkühlphase wird erneut getestet, ob der Anbieter wieder verfügbar ist.
Das bedeutet für Sie: Auch wenn OpenAI einen Ausfall hat, erhalten Ihre Mitarbeitenden weiterhin KI-Antworten, der Gateway leitet automatisch zu einem anderen konfigurierten Anbieter um.
Datenhaltung: Was bleibt wo?
| Datenkategorie | Speicherort | Aufbewahrung |
|---|---|---|
| Gesprächsinhalte | Nicht gespeichert | , |
| Nutzungsmetadaten | EU-Server (CLYE Infrastruktur) | Konfigurierbarer Zeitraum |
| API-Schlüssel (gehasht) | EU-Server (CLYE Infrastruktur) | Bis zur Löschung |
| Provider-Konfiguration | EU-Server (CLYE Infrastruktur) | Bis zur Änderung |
| Gecachte Antworten | EU-Server (Im Arbeitsspeicher) | Max. 10 Minuten |
Der Gateway folgt dem DSGVO-Prinzip der Datenminimierung: Es werden nur die Daten erhoben, die für den Betrieb und die Abrechnung tatsächlich notwendig sind.