On-Premise Setup

CLYE AI lässt sich nicht nur als Cloud-Lösung, sondern auch on-premise im eigenen Rechenzentrum oder auf eigener Infrastruktur betreiben. Diese Seite erklärt die grundsätzliche Architektur und was Ihr Unternehmen bereitstellen muss, damit CLYE Ihr System einrichten kann.

Hinweis: Die eigentliche Installation (Kubernetes-Setup und GitOps-Anbindung) wird von CLYE durchgeführt. Diese Seite beschreibt, was Sie im Vorfeld bereitstellen müssen, damit dieser Prozess reibungslos läuft.

Architekturüberblick

Ihr Unternehmen (On-Prem)
  └─ Server (Bare-Metal, virtualisiert oder containerisiert – je nach vorhandener Infrastruktur)
       └─ Debian-Betriebssystem
            └─ Kubernetes-Cluster (wird von CLYE eingerichtet)
                 └─ GitOps-gesteuertes Deployment
                      └─ CLYE AI (App, Worker, Converter, Redis, Datenbank, weitere Microservices)
                      └─ optional: lokales LLM, Embeddings, Object Storage

CLYE AI läuft im On-Premise-Betrieb als gemanagtes Deployment auf einem Kubernetes-Cluster in Ihrer Infrastruktur. Enthalten sind mindestens App, Worker, Converter, Redis, Datenbank und weitere Microservices. Die Konfiguration wird automatisiert über ein GitOps-Repository und eine Container-Registry von CLYE ausgerollt.

Der Betrieb ist grundsätzlich plattformunabhängig: Möglich ist die Installation direkt auf einem physischen Server (Bare-Metal), auf einer virtualisierten Maschine (z. B. Proxmox, VMware) oder in einem Container – je nachdem, welche Infrastruktur bei Ihnen bereits vorhanden ist und bevorzugt wird.

Es gibt zwei grundsätzliche Betriebsmodi, je nachdem ob eine eigene GPU für lokale KI-Modelle zur Verfügung steht:

Umfang	App, Worker, Converter, Datenbank, Redis, LLM-Anbindung über Cloud-Fallback	zusätzlich lokales LLM samt Embedding-Modell, höherer Hardwarebedarf
KI-Verarbeitung	läuft extern über Cloud-Provider	läuft direkt im eigenen Cluster (air-gap-fähig)
Typischer Einsatz	Standard-Setup ohne besondere Hardware-Anforderungen	wenn Daten das eigene Netz nicht verlassen dürfen

Was Sie bereitstellen müssen

Hardware

Minimum (ohne lokales LLM):

Ressource	Wert
CPU	8 Cores, keine spezielle GHz-Anforderung (Standard-Server-CPU, ca. 2,5–3 GHz)
RAM	16 GB
Systemdisk	64 GB
Datendisk	100–200 GB (separates Volume)
GPU	keine
Netzwerk	1 GbE

Mit lokalem LLM (vLLM-Inferenz im Cluster, Referenz: Dell R7725):

Ressource	Wert
CPU	32 Cores (Referenz: AMD EPYC 9335, 2× 32C/64T, 3,0 GHz)
RAM	64 GB+ (Referenzsystem verfügt über 768 GB, die Grundlast liegt in der Praxis jedoch bei ca. 27 GB)
Systemdisk	64 GB
Datendisk	1–4 TB+ NVMe (Modelle, RAG-Daten, Backups)
GPU	NVIDIA-GPU mit ausreichend VRAM für das gewünschte Modell (Referenz: RTX PRO 6000, 96 GB VRAM)
Netzwerk	10/25 GbE bei größerem Datenvolumen

Wichtig: Die Systemdisk allein reicht nicht aus. Es wird ein zusätzliches, separates Storage-Volume benötigt (siehe unten).

Betriebssystem und Serverumgebung

• Debian 12 (Bookworm) oder 13 (Trixie), als Cloud-Image oder ISO-Installation
• Betrieb wahlweise direkt auf einem physischen Server, als virtualisierte Maschine (mit GPU-Passthrough, falls ein lokales LLM gewünscht ist) oder als privilegierter Container – die Wahl richtet sich nach Ihrer vorhandenen Infrastruktur
• Statische IP-Adresse im eigenen Netz
• SSH-Zugang mit administrativen Rechten für die initiale Einrichtung durch CLYE

Storage

• Ein zusätzliches, von der Systemdisk getrenntes Block-Device, das automatisch gemountet und als Standard-Storage für Kubernetes bereitgestellt wird
• Richtwerte:
  • Minimal-Setup (nur App + Datenbank): 100–200 GB
  • Mit Object Storage (Dokumente, Backups): 500 GB – 2 TB
  • Mit lokalem LLM: zusätzlich 80–150 GB pro Modell
• Optional: S3-kompatibler Object Storage im Cluster für Modell-Artefakte, Dokumente und Backups

Netzwerk, DNS und TLS

• Interner oder öffentlicher DNS-Eintrag für den Hostnamen Ihrer CLYE-AI-Instanz
• Firewall-Freigaben:
  • Port 80/443 eingehend zur Node-IP
  • Verwaltungszugriff (z. B. für Cluster-Administration) idealerweise auf internes Netz oder VPN beschränkt
  • Ausgehender Internetzugang für Repository- und Image-Synchronisation (sofern keine Air-Gap-Lösung separat vereinbart wurde)
• TLS-Zertifikat für den gewählten Hostnamen

Active Directory / LDAP (optional)

Falls Login über ein bestehendes Unternehmens-Verzeichnis gewünscht ist, werden benötigt:

• LDAP-Host, Port, ob TLS genutzt wird
• Base DN und Bind DN
• Bind-Passwort (wird als Secret im Cluster hinterlegt)

Ohne LDAP-Anbindung erfolgt die Benutzerverwaltung lokal über die App (E-Mail/Passwort).

E-Mail-Versand

Für Benachrichtigungen und Passwort-Reset werden SMTP-Zugangsdaten oder ein alternativer E-Mail-Versanddienst benötigt. Ohne Konfiguration bleiben E-Mail-Funktionen inaktiv – das blockiert den Betrieb nicht, schränkt aber die Nutzung ein.

LLM-Anbindung

CLYE AI routet nach dem Prinzip lokal zuerst, Cloud als Fallback. Sie müssen sich für mindestens eine Option entscheiden:

• Vollständig lokal (air-gap-fähig): eigene GPU mit ausreichend VRAM, lokales LLM und Embedding-Modell im Cluster – keine Cloud-Abhängigkeit im laufenden Betrieb
• Cloud-Fallback: API-Zugangsdaten eines unterstützten Cloud-Providers, ausgehender Internetzugang
• Hybrid (empfohlen): GPU optional, lokale Modelle wenn vorhanden, sonst automatischer Fallback auf die Cloud

Ohne eigene GPU ist der reine Cloud-Betrieb der LLM-Inferenz der Standardfall – die Anwendung selbst läuft in jedem Fall on-premise, nur die Modell-Inferenz läuft dann extern.

Ablauf der Installation

1. Bereitstellung des Servers (Bare-Metal, VM oder Container) durch Ihr Unternehmen nach den oben genannten Vorgaben
2. Cluster-Einrichtung durch CLYE, inklusive GPU-Treiber falls erforderlich
3. Anbindung an die GitOps-Verwaltung durch CLYE
4. Secrets anlegen – gemeinsam mit Ihnen: SMTP, Object Storage, LDAP, LLM-Provider-Zugangsdaten je nach gewählter Option
5. TLS-Zertifikat einspielen
6. Deployment aktivieren – App, Worker, Converter, Datenbank und weitere Microservices werden ausgerollt
7. Verifikation – Health-Checks, Testlogin, ggf. Testabfrage an das LLM

Das erste Deployment kann inklusive Image-Pull und Datenbank-Initialisierung 20–40 Minuten dauern, mit lokalem LLM zusätzlich 15–30 Minuten für den Modell-Download.

Punkte, die Sie früh klären sollten

• Ohne eigene GPU: Ein Cloud-LLM-Fallback ist dann Pflicht – klären Sie vorab, ob das aus Datenschutz- oder Compliance-Sicht für Ihre Daten akzeptabel ist.
• Air-Gap-Betrieb (kein Internetzugang für Repository-/Image-Synchronisation) ist im Standard-Deployment-Prozess nicht direkt vorgesehen und erfordert ein separat abgestimmtes Vorgehen.
• Hochverfügbarkeit: Das Standard-Setup läuft als Single-Node-Installation. Für echte Hochverfügbarkeit (mehrere Datenbank- und Cluster-Knoten) sind zusätzliche Nodes und verteilter Storage nötig – mit entsprechend höherem Hardware- und Betriebsaufwand.
• LDAP/AD-Integration sollte möglichst früh geklärt werden (Base DN, Bind-User), um eine zusätzliche Deployment-Iteration zu vermeiden.

Sprechen Sie uns an, wenn Sie ein On-Premise Setup planen – wir stimmen gemeinsam mit Ihnen ab, welche Variante zu Ihrer Infrastruktur und Ihren Anforderungen passt.