Zum Hauptinhalt springen

LLM Gateway (OpenAI-kompatible API)

CLYE AI kann auch als LLM Gateway genutzt werden. Dabei stellt CLYE AI eine OpenAI-kompatible API bereit (OpenAI Completions/Chat Completions-Stil).

Je nach Organisation und freigeschalteter Umgebung kann die API über zwei Base-URLs erreichbar sein:

  • Neue Gateway-URL: https://llm-gateway.clye.ai/v1
  • Bisherige Proxy-URL: https://{deine-whitelabel-domain}/api/llm-gateway/v1

Welche URL für dich gilt, zeigt CLYE AI direkt pro API-Key in den Organisationseinstellungen → Nutzung an. Neue Organisationen oder freigeschaltete Setups sehen dort je nach Konfiguration bereits die Gateway-URL, während bestehende Keys weiter auf der bisherigen Proxy-URL bleiben können.

Wichtig: Die jeweilige Base-URL ist der Entry-Point. Die eigentlichen Endpunkte folgen dem OpenAI-Schema (z. B. POST /chat/completions, GET /models, …).

API-Dokumentation (OpenAPI)​

OpenAPI-Dokumentation des LLM Gateway

Die OpenAPI-Dokumentation erreichst du über die Base-URL, die dir in der Key-Liste angezeigt wird – also je nach Setup entweder über:

  • https://llm-gateway.clye.ai/v1
  • oder https://{deine-whitelabel-domain}/api/llm-gateway/v1

So sieht „OpenAI-kompatibel“ aus (Referenz)​

Die Struktur der Requests/Responses orientiert sich an der OpenAI API. Als externe Referenz (inkl. unterstützter Pfade wie POST /chat/completions) kannst du z. B. die Dokumentation zu OpenAI-kompatiblen Providern in der Vercel AI SDK nutzen:

API-Keys verwalten​

Organisationseinstellungen: LLM Gateway, API-Keys, Limitierungen und Monitoring

Du verwaltest die Gateway-Keys in den Organisationseinstellungen:

  1. Öffne Organisation → Einstellungen.
  2. Wechsle in den Bereich LLM Gateway.
  3. Lege API-Keys an (du kannst mehrere Keys parallel nutzen).
  4. Hinterlege bei Bedarf Limitierungen pro Key (z. B. für Nutzung oder Budget).
  5. Verwende die Karte AI-Budget, wenn du ein gemeinsames Budget für die Organisation festlegen willst.
  6. Nutze das Monitoring im selben Bereich, um zu sehen, was über den Gateway passiert.

Wichtig für bestehende Organisationen:

  • Bereits vorhandene Keys können weiter die bisherige Proxy-URL .../api/llm-gateway/v1 verwenden.
  • Neue Keys können – abhängig von der Freischaltung deiner Organisation – bereits die neue Gateway-URL https://llm-gateway.clye.ai/v1 anzeigen.
  • In gemischten Setups zeigt CLYE AI die passende Base-URL deshalb pro Key in der Liste an.

AI-Budgets für Nutzer und Organisationen​

CLYE AI versieht KI-Anfragen standardmäßig mit einem monatlichen Nutzerbudget von 15 € pro Person. Das Budget wird jeweils zum 1. des Monats (UTC) zurückgesetzt.

Wenn das persönliche Budget aufgebraucht ist, kann CLYE AI optional in das AI-Budget der aktiven Organisation ausweichen. Dieses Organisationsbudget setzt ein Org-Admin im Tab Budget der Organisation über die Karte AI-Budget.

So wirkt das Budget im Alltag​

  • Ohne Organisationsbudget gilt pro Nutzer standardmäßig ein harter Monatsdeckel von 15 €.
  • Platform-Admins können diesen persönlichen Monatswert pro Nutzer in Admin → Nutzerverwaltung auf der jeweiligen User-Detailseite überschreiben.
  • Mit Organisationsbudget werden zusätzliche KI-Kosten nach Ausschöpfen des persönlichen Budgets aus dem Budget der aktiven Organisation gedeckt.
  • Org-Admins können im Tab Budget pro Mitglied steuern, ob diese Person nach dem persönlichen Budget zusätzlich das Organisationsbudget nutzen darf.
  • Dafür gibt es zwei Modi: Alle erlaubt als Standard mit einzelnen Ausnahmen oder Nur freigegebene Mitglieder für eine gezielte Freigabeliste.
  • Ein manuell gesetzter Mitgliedsstatus bleibt dabei bestehen, auch wenn du später den Modus der Organisation wechselst.
  • Neue Mitglieder folgen automatisch dem aktuell gewählten Standardmodus der Organisation, bis du für sie eine eigene Freigabe oder Sperre setzt.
  • Die aktive Organisation richtet sich bevorzugt nach der zuletzt aktiv gewählten Organisation. Falls diese nicht mehr gültig ist, verwendet CLYE AI automatisch eine aktuelle Organisationsmitgliedschaft.
  • Das Budget greift für normale KI-Nutzung in CLYE AI, zum Beispiel in Chats, Titel- und Kommentar-Bots, Personal Briefings und agentischen Task-Läufen im Namen eines konkreten Nutzers.
  • Bestimmte technische Identitäten ohne normales Nutzerprofil, zum Beispiel die Generierung von Advanced Dashboards, folgen nicht dieser Mitgliederliste und behalten ihr bisheriges Verhalten beim Organisationsbudget.
  • Wird auch das Organisationsbudget erreicht oder ist der Zugriff einer Person auf das Organisationsbudget gesperrt, zeigt CLYE AI die Meldung „AI-Budget aufgebraucht“ direkt in der laufenden Antwort an. Die Meldung erscheint damit im normalen Nachrichten-Stream statt erst nach einem Neuladen. Die Anfrage wird nicht automatisch wiederholt und auch nicht still auf ein anderes Modell umgeleitet.

Persönliches AI-Budget pro Nutzer überschreiben​

Platform-Admins können auf der Admin-User-Detailseite das monatliche AI-Budget eines einzelnen Nutzers gezielt überschreiben. Das ist hilfreich, wenn einzelne Personen bewusst mehr oder weniger Budget als den Standard erhalten sollen.

So gehst du vor:

  1. Öffne Admin → Nutzerverwaltung.
  2. Öffne den gewünschten Nutzer.
  3. Suche das Feld AI-Budget (€/Monat).
  4. Trage einen eigenen Monatswert in Euro ein.
  5. Speichere die Änderung.

Wichtig dabei:

  • Unter dem Feld AI-Budget (€/Monat) zeigt CLYE AI zusätzlich die Zeile „Verbrauch diesen Monat: X € von Y € (Z %)”.
  • Diese Verbrauchsanzeige zeigt den laufenden Monatsverbrauch des Nutzers im Verhältnis zu seinem aktuell wirksamen Budget.
  • Leer lassen bedeutet: Der Nutzer verwendet wieder den Standard von 15 € pro Monat.
  • Der Placeholder im Feld lautet „Standard (15 €)“.
  • Das Minimum beträgt 1 € pro Monat.
  • 0 € ist bewusst nicht erlaubt.
  • Eine spätere Änderung des Standardbudgets wirkt weiterhin automatisch nur für Nutzer ohne eigenen Override.
  • Der bereits angefallene Monatsverbrauch bleibt erhalten, wenn du den Budgetwert zwischendurch änderst.
  • Während die Werte geladen werden oder das Gateway den Verbrauch nicht liefern kann, erscheint statt der Zahl ein dezenter Hinweis direkt unter dem Budget-Feld.
  • Hat ein Nutzer in diesem Monat noch keine KI-Anfrage gestellt, zeigt CLYE AI den Verbrauch als 0 € an.
  • Nach dem Speichern versucht CLYE AI zusätzlich, den neuen Wert sofort ins Gateway zu übernehmen. Dadurch zeigen die Gateway-Admin-Oberfläche und die Budget-Anzeige in der Sidebar den geänderten Wert in der Regel direkt an, statt erst nach der nächsten KI-Anfrage des Nutzers.
  • Nach dem Speichern eines Overrides lädt CLYE AI auch die Zeile „Verbrauch diesen Monat“ erneut, damit Verbrauch, Budget und Prozentwert wieder zum aktuellen Stand passen.
  • Ist das Gateway in diesem Moment vorübergehend nicht erreichbar, bleibt die Änderung trotzdem gespeichert. CLYE AI weist dann darauf hin, dass der neue Wert spätestens mit der nächsten KI-Anfrage des Nutzers wirksam wird.

Für Nutzer selbst ändert sich dadurch nichts an der normalen Anzeige ihres Budgets: Die persönliche Verbrauchsanzeige in der Sidebar folgt weiterhin dem Budget, das das Gateway für den jeweiligen Nutzer verwendet.

Organisationsbudget setzen​

Org-Admins sehen auf der Organisations-Übersicht oben zusätzlich die Kachel AI-Budget neben Mitglieder und Meine Rolle. Die Kachel verlinkt direkt auf den Tab Budget.

  1. Öffne Organisation.
  2. Suche auf der Übersicht oben die Kachel AI-Budget.
  3. Klicke auf die Kachel oder wechsle direkt in Budget.
  4. Trage das gewünschte Monatsbudget für die Organisation ein.
  5. Speichere die Änderung.

Die Kachel zeigt auf der Übersicht den bisherigen Verbrauch dieses Monats groß an. Darunter siehst du einen Fortschrittsbalken und die Anzeige „X von Y € diesen Monat (Z %)“. Ab etwa 90 % Auslastung hebt CLYE AI den Fortschrittsbalken rot hervor.

Wenn noch kein Organisations-Budget eingerichtet ist, zeigt die Übersicht stattdessen „Kein Organisations-Budget konfiguriert“. Ist das Budget vorübergehend nicht erreichbar, erscheint „Budget derzeit nicht abrufbar“ statt eines harten Fehlers auf der Übersichtsseite.

Im Tab Budget aktualisiert sich die Anzeige „X von Y €“ nach dem Speichern sofort mit dem neuen Budget.

Zusätzlich findest du dort eine Karte zur Mitgliederfreigabe für das Organisationsbudget. Darin kannst du den Standardmodus der Organisation umschalten und einzelne Mitglieder gezielt freigeben, sperren oder wieder auf den Organisationsstandard zurücksetzen.

So gehst du vor:

  1. Öffne Organisation → Budget.
  2. Suche die Karte zur Mitgliederfreigabe für das Organisationsbudget.
  3. Wähle den gewünschten Standardmodus für die Organisation.
  4. Bestätige den Wechsel ausdrücklich, wenn du auf Nur freigegebene Mitglieder umstellst.
  5. Passe bei Bedarf einzelne Mitglieder in der Tabelle an oder setze manuelle Entscheidungen wieder zurück.

Wichtig dabei:

  • In Alle erlaubt dürfen standardmäßig alle Mitglieder das Organisationsbudget nutzen, außer du sperrst einzelne Personen ausdrücklich.
  • In Nur freigegebene Mitglieder dürfen standardmäßig nur ausdrücklich freigegebene Mitglieder das Organisationsbudget nutzen.
  • Die Tabelle zeigt den effektiven Zustand pro Mitglied und kennzeichnet, ob der Zustand vom Standard kommt oder manuell gesetzt wurde.
  • Über Zurücksetzen entfernst du einen manuellen Override, sodass das Mitglied wieder dem Organisationsstandard folgt.
  • Verlässt ein Mitglied den verbundenen Organisations-Space, entfernt CLYE AI einen vorhandenen manuellen Override für dieses Mitglied automatisch. Tritt die Person später wieder bei, gilt wieder der aktuelle Organisationsstandard, bis du erneut eine eigene Freigabe oder Sperre setzt.
  • Ab 9 Mitgliedern blendet CLYE AI zusätzlich eine Suche für die Tabelle ein.
  • Ein laufender Task oder eine bereits gestartete Anfrage übernimmt eine geänderte Freigabe nicht mitten im Lauf, sondern erst beim nächsten Request beziehungsweise nächsten Task-Lauf.

Setzt du das Organisationsbudget auf 0 €, behandelt CLYE AI die Organisation praktisch als ohne zusätzliches Budget. Nutzer bleiben dann beim persönlichen Monatslimit.

Laufenden Periodenverbrauch im Admin sehen​

Im Bereich Admin → LLM Gateway → Budgets zeigt CLYE AI zusätzlich den bisher verbrauchten Betrag der laufenden Periode direkt in der Budgetliste an. Die Spalte Verbraucht kombiniert den aktuellen Wert mit dem Anteil an der laufenden Periode, zum Beispiel 3200000 (21 %).

Für Budgets ohne eigene Periode zeigt die Oberfläche an dieser Stelle —.

Öffnest du Budget bearbeiten, siehst du außerdem eine nur lesbare Zeile mit dem aktuellen Periodenverbrauch, dem Prozentanteil und dem Start des aktuellen Zeitfensters. Dieser Wert dient zur Einordnung des laufenden Verbrauchs und wird durch einfaches Speichern des Budgets nicht zurückgesetzt oder verändert.

Verbrauch des Organisationsbudgets pro Mitglied sehen​

Org-Admins sehen in der Organisationsnavigation zusätzlich den Punkt Budget. Dort zeigt CLYE AI pro Mitglied nur den Anteil, der im aktuellen Periodenfenster aus dem Organisationsbudget bezahlt wurde.

Wichtig: In dieser Ansicht erscheint nicht der persönliche Verbrauch innerhalb des eigenen monatlichen 15-€-Budgets. Dafür bleibt weiterhin die Sektion AI-Nutzung in den persönlichen Einstellungen beziehungsweise Account-Einstellungen zuständig. Die Budget-Seite zeigt also bewusst nur den zusätzlichen Organisationsanteil oberhalb des persönlichen Budgets.

Die Tabelle enthält pro Zeile:

  • Mitglied mit Name und E-Mail-Adresse
  • Verbrauch in € aus dem Organisationsbudget
  • Requests im aktuellen Zeitfenster

Zusätzlich siehst du oberhalb der Tabelle einen Monats-Selektor. Damit kannst du zwischen dem aktuellen Monat und den letzten 12 Kalendermonaten wechseln. Standardmäßig ist der aktuelle Monat ausgewählt.

Im aktuellen Monat zeigt CLYE AI oberhalb der Tabelle zusätzlich:

  • die Gesamtsumme im Format „X von Y €“
  • das konfigurierte Organisationsbudget
  • den Beginn des aktuellen Zeitfensters

Für historische Monate zeigt die Seite dagegen nur die Werte des gewählten Monats. Die Anzeige „X von Y €“ erscheint dort bewusst nicht, weil das aktuell konfigurierte Organisationsbudget nicht rückwirkend für frühere Monate gilt. Auch die Leer-Meldung bezieht sich jeweils auf den ausgewählten Monat.

Wenn frühere Requests noch vor dem passenden Gateway-Deploy angefallen sind, können sie noch keine vollständigen Budget-Zuordnungen enthalten. Die Seite weist in diesem Fall darauf hin. Ist der nötige Gateway-Stand noch nicht ausgerollt, zeigt die Ansicht stattdessen die entsprechende Gateway-Fehlermeldung. Mit einem noch nicht aktualisierten Gateway kann ein historischer Monat vorübergehend außerdem zu viele Einträge ab Monatsanfang anzeigen, weil der nötige Monats-Endpunkt noch nicht vollständig ausgewertet wird.

Was bewusst nicht in dieses Nutzerbudget fällt​

Bestimmte technische oder anonyme Zugriffe laufen derzeit ohne persönliches Nutzerbudget, damit sie sich nicht versehentlich ein gemeinsames 15-€-Budget teilen. Dazu gehören insbesondere:

  • Widget-JWT-Sitzungen
  • Assistant-Access-Link-Sitzungen
  • Space-API-Keys
  • sonstiger System-Traffic ohne auflösbaren konkreten Nutzer

Wenn du Kosten für solche Zugriffe steuern willst, verwalte sie gezielt über das LLM Gateway und passende Organisations- oder Integrationslimits.

Subscription-Modelle im App-Model-Picker​

Zusätzlich zu klassischen Provider-API-Keys kannst du im Gateway jetzt auch Subscription-Modelle anbinden. Diese Modelle erscheinen anschließend additiv im normalen App-Model-Picker – bestehende Quellen wie OVH, Requesty, Cortecs, Tensorix oder lokale Provider bleiben dabei unverändert erhalten.

Wo du die Verbindung einrichtest​

  1. Öffne Admin → LLM Gateway.
  2. Wechsle in den Tab Provider.
  3. Öffne dort den Bereich Subscription.
  4. Starte den geführten Verbindungsaufbau über Mit ChatGPT anmelden.

Nach erfolgreicher Verbindung werden die freigeschalteten Subscription-Modelle automatisch über das Gateway bereitgestellt und können in den Space- und Bot-Einstellungen sowie direkt im Chat-Picker ausgewählt werden.

Unterstützte Anbieter​

  • OpenAI: vollständig nutzbar
  • Anthropic: in der Oberfläche derzeit deaktiviert
  • Google: in der Oberfläche derzeit deaktiviert

Solange Anthropic und Google deaktiviert sind, erscheinen diese Verbindungen nicht als normal auswählbare Subscription-Quelle im produktiven Picker.

Was der OAuth-Flow in der Oberfläche bietet​

Im Bereich Subscription nutzt CLYE AI einen geführten OAuth-Connect-Flow statt eines manuellen API-Key-Formulars.

Dabei kannst du:

  • die Verbindung direkt über den jeweiligen Anbieter starten
  • die Anmeldung in Produktion auch dann abschließen, wenn lokal kein Port 1455 erreichbar ist
  • nach dem Login beim Anbieter die komplette Redirect-URL aus der Browser-Adresszeile einfügen, damit Code und State übernommen werden
  • Callback-URLs verarbeiten, die ihre Rückgabewerte als Query-Parameter oder im URL-Hash mitbringen
  • pro Verbindung die aktuelle Nutzung bzw. verfügbare Rate-Limit-Quotas direkt in der Oberfläche prüfen

So schließt du den Login ohne lokalen Callback-Port ab​

  1. Starte unter Admin → LLM Gateway → Provider → Subscription den Login beim gewünschten Anbieter.
  2. Melde dich beim Anbieter wie gewohnt an.
  3. Wenn du auf eine Weiterleitungsadresse wie http://localhost:1455/... zurückkommst, kopiere die komplette URL aus der Adresszeile deines Browsers.
  4. Füge diese URL in CLYE AI in das dafür vorgesehene Feld ein und bestätige den Abschluss des Logins.
  5. Prüfe anschließend in der Provider-Liste, ob die Verbindung als verbunden angezeigt wird.

Für OpenAI bleibt die bisherige Redirect-URI mit localhost:1455 weiterhin gültig. Wenn dieser Port lokal erreichbar ist, kann der bekannte automatische Abschluss des OAuth-Callbacks wie bisher weiter funktionieren.

Wann ein manueller Refresh sinnvoll ist​

Wenn du eine Subscription-Verbindung neu anlegst, änderst oder trennst, aktualisiert CLYE AI die Provider-Daten jetzt gezielt. Falls die Modellauswahl trotzdem noch veraltet wirkt, kannst du zusätzlich unter Admin → Modelle den Button Modell-Cache leeren verwenden.

Modelle und Context Size im Admin-Bereich verwalten​

Im Admin-Bereich des LLM Gateways kannst du nicht nur Provider und API-Keys verwalten, sondern auch die verfügbare Kontextgröße von Modellen und Routing-Policies pflegen.

Was du jetzt direkt in der Oberfläche siehst und bearbeitest​

  • Bei physischen Modellen aus dem Provider-Katalog wird die bekannte Context Size direkt in der Modelltabelle angezeigt.
  • Bei virtuellen Modellen kannst du eine eigene Context Size setzen.
  • Bei Routing-Policies kannst du ebenfalls eine Context Size hinterlegen, die für die Modellangabe des Policy-Alias verwendet wird.

Bedeutung von leer oder 0​

Wenn du bei einer Routing-Policy die Context Size leer lässt oder 0 einträgst, nutzt CLYE AI automatisch den kleinsten bekannten Kontext aus der konfigurierten Fallback-Chain.

Das ist sinnvoll, wenn ein Policy-Alias auf mehrere Modelle zeigt und du in GET /v1/models keinen festen Wert erzwingen möchtest.

Typischer Ablauf​

  1. Öffne Admin → LLM Gateway.
  2. Wechsle je nach Ziel in Provider oder Policies.
  3. Prüfe in der Tabelle die Spalte Context.
  4. Bearbeite ein vorhandenes Modell oder eine Policy.
  5. Trage bei Bedarf eine feste Context Size in Tokens ein.
  6. Lasse das Feld leer oder setze 0, wenn der Wert automatisch aus der Fallback-Chain abgeleitet werden soll.
  7. Speichere die Änderung und prüfe anschließend die Modellanzeige erneut.

Wann feste Werte sinnvoll sind​

Ein fester Wert ist vor allem dann hilfreich, wenn du:

  • für ein virtuelles Modell bewusst einen eigenen, klar ausgewiesenen Kontext angeben möchtest
  • für einen Policy-Alias in GET /v1/models einen stabilen Wert anzeigen willst
  • Modellangaben aus mehreren Upstream-Modellen für Clients klar vereinheitlichen möchtest

Nutzung mit bekannten Libraries​

Vercel AI SDK (empfohlen)​

Du kannst CLYE AI mit dem Vercel AI SDK als OpenAI-kompatiblen Provider ansprechen.

Installation

pnpm add ai @ai-sdk/openai-compatible
# oder: npm i ai @ai-sdk/openai-compatible

Beispiel (Chat Completions / Streaming)

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const clye = createOpenAICompatible({
  name: 'clye',
  apiKey: process.env.CLYE_LLM_GATEWAY_API_KEY!,
  baseURL: 'https://llm-gateway.clye.ai/v1', // oder die pro Key angezeigte Proxy-URL
});

const result = streamText({
  model: clye.chatModel('gpt-4o-mini'),
  messages: [
    { role: 'user', content: 'Schreibe einen kurzen Absatz über CLYE AI.' },
  ],
});

return result.toDataStreamResponse();

Weitere Details zur Verwendung von OpenAI-kompatiblen Providern im AI SDK:

OpenAI SDK (JavaScript)​

Wenn du das OpenAI JS SDK nutzt, kannst du in der Regel einfach die Base URL auf den CLYE Gateway umstellen.

Referenz (Beispiel mit baseURL):

Inhalt