LLM Gateway (OpenAI-kompatible API)

CLYE AI kann auch als LLM Gateway genutzt werden. Dabei stellt CLYE AI eine OpenAI-kompatible API bereit (OpenAI Completions/Chat Completions-Stil).

Je nach Organisation und freigeschalteter Umgebung kann die API über zwei Base-URLs erreichbar sein:

• Neue Gateway-URL: https://llm-gateway.clye.ai/v1
• Bisherige Proxy-URL: https://{deine-whitelabel-domain}/api/llm-gateway/v1

Welche URL für dich gilt, zeigt CLYE AI direkt pro API-Key in den Organisationseinstellungen → Nutzung an. Neue Organisationen oder freigeschaltete Setups sehen dort je nach Konfiguration bereits die Gateway-URL, während bestehende Keys weiter auf der bisherigen Proxy-URL bleiben können.

Wichtig: Die jeweilige Base-URL ist der Entry-Point. Die eigentlichen Endpunkte folgen dem OpenAI-Schema (z. B. POST /chat/completions, GET /models, …).

API-Dokumentation (OpenAPI)

Die OpenAPI-Dokumentation erreichst du über die Base-URL, die dir in der Key-Liste angezeigt wird – also je nach Setup entweder über:

• https://llm-gateway.clye.ai/v1
• oder https://{deine-whitelabel-domain}/api/llm-gateway/v1

So sieht „OpenAI-kompatibel“ aus (Referenz)

Die Struktur der Requests/Responses orientiert sich an der OpenAI API. Als externe Referenz (inkl. unterstützter Pfade wie POST /chat/completions) kannst du z. B. die Dokumentation zu OpenAI-kompatiblen Providern in der Vercel AI SDK nutzen:

• https://ai-sdk.dev/providers/openai-compatible-providers

API-Keys verwalten

Du verwaltest die Gateway-Keys in den Organisationseinstellungen:

1. Öffne Organisation → Einstellungen.
2. Wechsle in den Bereich LLM Gateway.
3. Lege API-Keys an (du kannst mehrere Keys parallel nutzen).
4. Hinterlege bei Bedarf Limitierungen pro Key (z. B. für Nutzung oder Budget).
5. Verwende die Karte AI-Budget, wenn du ein gemeinsames Budget für die Organisation festlegen willst.
6. Nutze das Monitoring im selben Bereich, um zu sehen, was über den Gateway passiert.

Hinweise zur Anzeige im Admin-Bereich:

• Auf Admin → LLM Gateway zeigt CLYE AI beim Laden einen sichtbaren Ladezustand, statt eine leere Fläche anzuzeigen.
• KPI-Karten wie Provider, Policies und API-Keys können schon früher sichtbar werden, auch wenn andere Gateway-Werte noch nachgeladen werden. So bleibt die Admin-Seite im Alltag schneller nutzbar.
• Für noch ausstehende KPI-Werte wie Usage Events, Health oder Kosten zeigt CLYE AI in der Übersicht einen Spinner statt einer uneindeutigen Platzhalteranzeige.
• Die Bereiche Overview und Usage verwenden das normale Gateway-Request-Verhalten mit dem üblichen Timeout. Eigene verlängerte Cache-, Prefetch- oder Refresh-Sonderlogik ist dort nicht mehr relevant.
• Sobald die Daten aus dem Gateway vorliegen, ersetzt CLYE AI die Spinner automatisch durch die geladenen Werte.
• Wenn die KPI-Übersicht oder der Usage-Bereich wegen einer fehlerhaften Gateway-Antwort nicht gelesen werden können, bleibt die Seite nicht dauerhaft auf „Wird geladen“ stehen.
• Stattdessen zeigt CLYE AI im betroffenen Bereich eine klare Fehlermeldung mit der Möglichkeit, den Ladevorgang erneut zu starten.
• Das gilt auch dann, wenn einzelne Gateway-Felder in der Antwort vorübergehend null sind. Solche Antworten werden nach Möglichkeit weiter verarbeitet, statt die komplette Ansicht zu verwerfen.
• Im Tab Usage zeigt der Filter Policy jetzt dieselben Werte wie die Spalte Policy in der Tabelle. Wenn du eine Policy auswählst, filtert CLYE AI die Tabelle 1:1 auf genau diesen Spaltenwert. Mit Alle Policies siehst du wieder alle geladenen Events.
• Auswahlfelder mit vielen Einträgen – zum Beispiel für API-Keys, Provider, Modelle oder den Abrechnungs-Owner – lassen sich jetzt direkt im geöffneten Dropdown durchsuchen. Das hilft besonders in größeren Gateway-Setups mit langen Listen.

Wichtig für bestehende Organisationen:

• Bereits vorhandene Keys können weiter die bisherige Proxy-URL .../api/llm-gateway/v1 verwenden.
• Neue Keys können – abhängig von der Freischaltung deiner Organisation – bereits die neue Gateway-URL https://llm-gateway.clye.ai/v1 anzeigen.
• In gemischten Setups zeigt CLYE AI die passende Base-URL deshalb pro Key in der Liste an.

AI-Budgets für Nutzer und Organisationen

CLYE AI versieht KI-Anfragen standardmäßig mit einem monatlichen Nutzerbudget von 15 € pro Person. Das Budget wird jeweils zum 1. des Monats (UTC) zurückgesetzt.

Wenn das persönliche Budget aufgebraucht ist, kann CLYE AI optional in das AI-Budget der aktiven Organisation ausweichen. Dieses Organisationsbudget setzt ein Org-Admin im Tab Budget der Organisation über die Karte AI-Budget.

So wirkt das Budget im Alltag

• Ohne Organisationsbudget gilt pro Nutzer standardmäßig ein harter Monatsdeckel von 15 €.
• Platform-Admins können diesen persönlichen Monatswert pro Nutzer in Admin → Nutzerverwaltung auf der jeweiligen User-Detailseite überschreiben.
• Mit Organisationsbudget werden zusätzliche KI-Kosten nach Ausschöpfen des persönlichen Budgets aus dem Budget der aktiven Organisation gedeckt.
• Org-Admins können im Tab Budget pro Mitglied steuern, ob diese Person nach dem persönlichen Budget zusätzlich das Organisationsbudget nutzen darf.
• Dafür gibt es zwei Modi: Alle erlaubt als Standard mit einzelnen Ausnahmen oder Nur freigegebene Mitglieder für eine gezielte Freigabeliste.
• Ein manuell gesetzter Mitgliedsstatus bleibt dabei bestehen, auch wenn du später den Modus der Organisation wechselst.
• Neue Mitglieder folgen automatisch dem aktuell gewählten Standardmodus der Organisation, bis du für sie eine eigene Freigabe oder Sperre setzt.
• Die aktive Organisation richtet sich bevorzugt nach der zuletzt aktiv gewählten Organisation. Falls diese nicht mehr gültig ist, verwendet CLYE AI automatisch eine aktuelle Organisationsmitgliedschaft.
• Das Budget greift für normale KI-Nutzung in CLYE AI, zum Beispiel in Chats, Titel- und Kommentar-Bots sowie Personal Briefings im Namen eines konkreten Nutzers.
• Interaktive Chats mit einem Agenten bleiben bewusst beim persönlichen Budget der anfragenden Person – auch dann, wenn für den Agenten ein Abrechnungs-Owner gesetzt ist.
• Task-Läufe und Automationen eines Agenten können stattdessen gezielt über das Organisationsbudget einer Organisation laufen, wenn diesem Agenten ein Abrechnungs-Owner zugewiesen wurde.
• Bestimmte technische Identitäten ohne normales Nutzerprofil, zum Beispiel die Generierung von Advanced Dashboards, folgen nicht dieser Mitgliederliste und behalten ihr bisheriges Verhalten beim Organisationsbudget.
• Wird auch das Organisationsbudget erreicht oder ist der Zugriff einer Person auf das Organisationsbudget gesperrt, zeigt CLYE AI die Meldung „AI-Budget aufgebraucht“ direkt in der laufenden Antwort an. Die Meldung erscheint damit im normalen Nachrichten-Stream statt erst nach einem Neuladen. Die Anfrage wird nicht automatisch wiederholt und auch nicht still auf ein anderes Modell umgeleitet.

Persönliches AI-Budget pro Nutzer überschreiben

Platform-Admins können auf der Admin-User-Detailseite das monatliche AI-Budget eines einzelnen Nutzers gezielt überschreiben. Das ist hilfreich, wenn einzelne Personen bewusst mehr oder weniger Budget als den Standard erhalten sollen.

So gehst du vor:

1. Öffne Admin → Nutzerverwaltung.
2. Öffne den gewünschten Nutzer.
3. Suche das Feld AI-Budget (€/Monat).
4. Trage einen eigenen Monatswert in Euro ein.
5. Speichere die Änderung.

Hinweise zur Admin-Nutzerverwaltung:

• Wenn du in Admin → Nutzerverwaltung mehrere Konten auf einmal löschst, verarbeitet CLYE AI die Löschungen nacheinander. Dadurch brechen größere Löschläufe seltener mit einem allgemeinen Timeout ab.
• Kann ein Konto trotzdem nicht gelöscht werden, zeigt der Bulk-Dialog den konkreten Grund direkt im Dialog an statt nur einer generischen Fehlermeldung.
• Bleibt ein Nutzer der letzte Admin eines zugehörigen Spaces oder einer Organisation, weist dich der Dialog auf diesen Grund hin. Falls du den Space oder die Organisation bewusst ohne diese Person weiterführen oder anschließend anders absichern willst, kannst du die angezeigte Force-Option gezielt für diesen Fall verwenden.

Wichtig dabei:

• Unter dem Feld AI-Budget (€/Monat) zeigt CLYE AI zusätzlich die Zeile „Verbrauch diesen Monat: X € von Y € (Z %)”.
• Diese Verbrauchsanzeige zeigt den laufenden Monatsverbrauch des Nutzers im Verhältnis zu seinem aktuell wirksamen Budget.
• Leer lassen bedeutet: Der Nutzer verwendet wieder den Standard von 15 € pro Monat.
• Der Placeholder im Feld lautet „Standard (15 €)“.
• Das Minimum beträgt 1 € pro Monat.
• 0 € ist bewusst nicht erlaubt.
• Eine spätere Änderung des Standardbudgets wirkt weiterhin automatisch nur für Nutzer ohne eigenen Override.
• Der bereits angefallene Monatsverbrauch bleibt erhalten, wenn du den Budgetwert zwischendurch änderst.
• Während die Werte geladen werden oder das Gateway den Verbrauch nicht liefern kann, erscheint statt der Zahl ein dezenter Hinweis direkt unter dem Budget-Feld.
• Hat ein Nutzer in diesem Monat noch keine KI-Anfrage gestellt, zeigt CLYE AI den Verbrauch als 0 € an.
• Nach dem Speichern versucht CLYE AI zusätzlich, den neuen Wert sofort ins Gateway zu übernehmen. Dadurch zeigen die Gateway-Admin-Oberfläche und die Budget-Anzeige in der Sidebar den geänderten Wert in der Regel direkt an, statt erst nach der nächsten KI-Anfrage des Nutzers.
• Nach dem Speichern eines Overrides lädt CLYE AI auch die Zeile „Verbrauch diesen Monat“ erneut, damit Verbrauch, Budget und Prozentwert wieder zum aktuellen Stand passen.
• Ist das Gateway in diesem Moment vorübergehend nicht erreichbar, bleibt die Änderung trotzdem gespeichert. CLYE AI weist dann darauf hin, dass der neue Wert spätestens mit der nächsten KI-Anfrage des Nutzers wirksam wird.

Für Nutzer selbst ändert sich dadurch nichts an der normalen Anzeige ihres Budgets: Die persönliche Verbrauchsanzeige in der Sidebar folgt weiterhin dem Budget, das das Gateway für den jeweiligen Nutzer verwendet.

Organisationsbudget setzen

Org-Admins sehen auf der Organisations-Übersicht oben zusätzlich die Kachel AI-Budget neben Mitglieder und Meine Rolle. Die Kachel verlinkt direkt auf den Tab Budget.

1. Öffne Organisation.
2. Suche auf der Übersicht oben die Kachel AI-Budget.
3. Klicke auf die Kachel oder wechsle direkt in Budget.
4. Trage das gewünschte Monatsbudget für die Organisation ein.
5. Speichere die Änderung.

Die Kachel zeigt auf der Übersicht den bisherigen Verbrauch dieses Monats groß an. Darunter siehst du einen Fortschrittsbalken und die Anzeige „X von Y € diesen Monat (Z %)“. Ab etwa 90 % Auslastung hebt CLYE AI den Fortschrittsbalken rot hervor.

Auf derselben Organisations-Übersicht zählt die Kachel Mitglieder den gesetzten Support-Kontakt nicht mehr als normales Mitglied mit. Der Kontakt bleibt aber weiter in der Mitgliederliste sichtbar, damit Org-Admins ihn dort weiterhin prüfen, ändern oder entfernen können.

Wenn noch kein Organisations-Budget eingerichtet ist, zeigt die Übersicht stattdessen „Kein Organisations-Budget konfiguriert“. Ist das Budget vorübergehend nicht erreichbar, erscheint „Budget derzeit nicht abrufbar“ statt eines harten Fehlers auf der Übersichtsseite.

Im Tab Budget aktualisiert sich die Anzeige „X von Y €“ nach dem Speichern sofort mit dem neuen Budget.

Zusätzlich findest du dort eine Karte zur Mitgliederfreigabe für das Organisationsbudget. Darin kannst du den Standardmodus der Organisation umschalten und einzelne Mitglieder gezielt freigeben, sperren oder wieder auf den Organisationsstandard zurücksetzen.

So gehst du vor:

1. Öffne Organisation → Budget.
2. Suche die Karte zur Mitgliederfreigabe für das Organisationsbudget.
3. Wähle den gewünschten Standardmodus für die Organisation.
4. Bestätige den Wechsel ausdrücklich, wenn du auf Nur freigegebene Mitglieder umstellst.
5. Passe bei Bedarf einzelne Mitglieder in der Tabelle an oder setze manuelle Entscheidungen wieder zurück.

Wichtig dabei:

• In Alle erlaubt dürfen standardmäßig alle Mitglieder das Organisationsbudget nutzen, außer du sperrst einzelne Personen ausdrücklich.
• In Nur freigegebene Mitglieder dürfen standardmäßig nur ausdrücklich freigegebene Mitglieder das Organisationsbudget nutzen.
• Die Tabelle zeigt den effektiven Zustand pro Mitglied und kennzeichnet, ob der Zustand vom Standard kommt oder manuell gesetzt wurde.
• Über Zurücksetzen entfernst du einen manuellen Override, sodass das Mitglied wieder dem Organisationsstandard folgt.
• Verlässt ein Mitglied den verbundenen Organisations-Space, entfernt CLYE AI einen vorhandenen manuellen Override für dieses Mitglied automatisch. Tritt die Person später wieder bei, gilt wieder der aktuelle Organisationsstandard, bis du erneut eine eigene Freigabe oder Sperre setzt.
• Ab 9 Mitgliedern blendet CLYE AI zusätzlich eine Suche für die Tabelle ein.
• Ein laufender Task oder eine bereits gestartete Anfrage übernimmt eine geänderte Freigabe nicht mitten im Lauf, sondern erst beim nächsten Request beziehungsweise nächsten Task-Lauf.

Setzt du das Organisationsbudget auf 0 €, behandelt CLYE AI die Organisation praktisch als ohne zusätzliches Budget. Nutzer bleiben dann beim persönlichen Monatslimit.

Laufenden Periodenverbrauch im Admin sehen

Im Bereich Admin → LLM Gateway → Budgets zeigt CLYE AI zusätzlich den bisher verbrauchten Betrag der laufenden Periode direkt in der Budgetliste an. Die Spalte Verbraucht kombiniert den aktuellen Wert mit dem Anteil an der laufenden Periode, zum Beispiel 3200000 (21 %).

Für Budgets ohne eigene Periode zeigt die Oberfläche an dieser Stelle —.

Öffnest du Budget bearbeiten, siehst du außerdem eine nur lesbare Zeile mit dem aktuellen Periodenverbrauch, dem Prozentanteil und dem Start des aktuellen Zeitfensters. Dieser Wert dient zur Einordnung des laufenden Verbrauchs und wird durch einfaches Speichern des Budgets nicht zurückgesetzt oder verändert.

Agenten über das Organisationsbudget abrechnen

Org-Admins können einzelne Agenten so konfigurieren, dass deren Task-Läufe und Automationen über das Budget einer Organisation abgerechnet werden.

So gehst du vor:

1. Öffne den gewünschten Agenten.
2. Wechsle zu Einstellungen → Allgemein.
3. Suche die Karte Abrechnung.
4. Wähle unter Abrechnungs-Owner die gewünschte Organisation aus.
5. Speichere die Änderung.

Wichtig dabei:

• In der Auswahl erscheinen nur Organisationen, in denen du Org-Admin bist.
• Zum Setzen, Wechseln oder Entfernen des Abrechnungs-Owners brauchst du zusätzlich das Recht, den Agenten zu bearbeiten.
• Hat die gewählte Organisation kein Organisationsbudget eingerichtet oder ist das Budget bereits verbraucht, kann der Agent nach dem Speichern bei Task-Läufen oder Automationen mit KI-Schritt sofort mit „AI-Budget aufgebraucht“ scheitern. Diese Budget-Meldung erscheint dabei direkt als nutzerlesbare Fehlermeldung des Laufs statt nur als generischer Fehlercode.
• Interaktive Chats mit dem Agenten bleiben weiterhin persönlich abgerechnet und wechseln nicht automatisch auf das Organisationsbudget des Agenten.
• Persönliche Assistenten, die aus einer Organisationsvorlage entstanden sind, übernehmen diese Abrechnung nicht automatisch.

Ansprechpartner auf Organisationsebene pflegen

Im Bereich Admin → Organisationen kannst du pro Organisation jetzt zusätzlich einen Kundenbetreuer und einen technischen Kundenbetreuer hinterlegen. Die Auswahl funktioniert analog zur vorhandenen Kontaktperson.

So gehst du vor:

1. Öffne Admin → Organisationen.
2. Öffne die gewünschte Organisation zur Bearbeitung.
3. Wähle bei Bedarf einen Kundenbetreuer aus.
4. Wähle optional zusätzlich einen technischen Kundenbetreuer aus.
5. Speichere die Änderung.

Wichtig dabei:

• Beide Felder sind optional und können auch wieder geleert werden.
• Die beiden Rollen werden direkt an der Organisation gespeichert, nicht nur an einzelnen Kontakten oder Mitgliedern.
• Wenn ihr die Organisationsdaten per API oder in internen Admin-Auswertungen weiterverarbeitet, können diese Angaben dort als eigene Organisationsfelder verfügbar sein.

Agenten auf der Budget-Seite der Organisation sehen und entfernen

Im Tab Organisation → Budget gibt es zusätzlich die Karte Agenten mit Abrechnung über diese Organisation.

Dort siehst du pro Agent:

• den Agentennamen
• die Token-Nutzung pro Monat
• eine Aktion zum Entfernen der Abrechnung über diese Organisation

Wichtig dabei:

• Das Entfernen hebt nur die Abrechnung über diese Organisation auf. Der Agent bleibt ansonsten unverändert.
• Danach laufen neue Task-Läufe und Automationen des Agenten wieder ohne diesen Organisations-Budgetkontext.
• In der Consumers-Tabelle des Organisationsbudgets werden solche Agenten zusätzlich mit einem Agent-Badge gekennzeichnet.

Verbrauch des Organisationsbudgets pro Mitglied sehen

Org-Admins sehen in der Organisationsnavigation zusätzlich den Punkt Budget. Dort zeigt CLYE AI pro Mitglied nur den Anteil, der im aktuellen Periodenfenster aus dem Organisationsbudget bezahlt wurde.

Wichtig: In dieser Ansicht erscheint nicht der persönliche Verbrauch innerhalb des eigenen monatlichen 15-€-Budgets. Dafür bleibt weiterhin die Sektion AI-Nutzung in den persönlichen Einstellungen beziehungsweise Account-Einstellungen zuständig. Die Budget-Seite zeigt also bewusst nur den zusätzlichen Organisationsanteil oberhalb des persönlichen Budgets.

Die Tabelle enthält pro Zeile:

• Mitglied mit Name und E-Mail-Adresse
• Verbrauch in € aus dem Organisationsbudget
• Requests im aktuellen Zeitfenster

Zusätzlich siehst du oberhalb der Tabelle einen Monats-Selektor. Damit kannst du zwischen dem aktuellen Monat und den letzten 12 Kalendermonaten wechseln. Standardmäßig ist der aktuelle Monat ausgewählt.

Im aktuellen Monat zeigt CLYE AI oberhalb der Tabelle zusätzlich:

• die Gesamtsumme im Format „X von Y €“
• das konfigurierte Organisationsbudget
• den Beginn des aktuellen Zeitfensters

Für historische Monate zeigt die Seite dagegen nur die Werte des gewählten Monats. Die Anzeige „X von Y €“ erscheint dort bewusst nicht, weil das aktuell konfigurierte Organisationsbudget nicht rückwirkend für frühere Monate gilt. Auch die Leer-Meldung bezieht sich jeweils auf den ausgewählten Monat.

Wenn frühere Requests noch vor dem passenden Gateway-Deploy angefallen sind, können sie noch keine vollständigen Budget-Zuordnungen enthalten. Die Seite weist in diesem Fall darauf hin. Ist der nötige Gateway-Stand noch nicht ausgerollt, zeigt die Ansicht stattdessen die entsprechende Gateway-Fehlermeldung. Mit einem noch nicht aktualisierten Gateway kann ein historischer Monat vorübergehend außerdem zu viele Einträge ab Monatsanfang anzeigen, weil der nötige Monats-Endpunkt noch nicht vollständig ausgewertet wird.

Was bewusst nicht in dieses Nutzerbudget fällt

Bestimmte technische oder anonyme Zugriffe laufen derzeit ohne persönliches Nutzerbudget, damit sie sich nicht versehentlich ein gemeinsames 15-€-Budget teilen. Dazu gehören insbesondere:

• Widget-JWT-Sitzungen
• Assistant-Access-Link-Sitzungen
• Space-API-Keys
• sonstiger System-Traffic ohne auflösbaren konkreten Nutzer

Wenn du Kosten für solche Zugriffe steuern willst, verwalte sie gezielt über das LLM Gateway und passende Organisations- oder Integrationslimits.

Subscription-Modelle im App-Model-Picker

Zusätzlich zu klassischen Provider-API-Keys kannst du im Gateway jetzt auch Subscription-Modelle anbinden. Diese Modelle erscheinen anschließend additiv im normalen App-Model-Picker – bestehende Quellen wie OVH, Requesty, Cortecs, Tensorix oder lokale Provider bleiben dabei unverändert erhalten.

Wo du die Verbindung einrichtest

1. Öffne Admin → LLM Gateway.
2. Wechsle in den Tab Provider.
3. Öffne dort den Bereich Subscription.
4. Starte den geführten Verbindungsaufbau über Mit ChatGPT anmelden.

Nach erfolgreicher Verbindung werden die freigeschalteten Subscription-Modelle automatisch über das Gateway bereitgestellt und können in den Space- und Bot-Einstellungen sowie direkt im Chat-Picker ausgewählt werden.

Wichtig für den Alltag:

• OAuth-Modelle aus dem Gateway bleiben nach der Auswahl auch nach einem Neuladen des Chats als aktives Chat-Standardmodell erhalten.
• Im Agent-Katalog und in modellbezogenen Detailansichten erscheinen solche Einträge mit einer gateway:-Modell-ID und dem passenden Anzeigenamen aus dem Gateway-Katalog.
• Gateway-GPT-Modelle gelten auch für Bildanfragen als vision-fähig. Wenn du im Chat ein Bild an ein solches Modell sendest, wird der Bildanhang an das Modell durchgereicht, statt still nur wie reiner Text behandelt zu werden.

Unterstützte Anbieter

• OpenAI: vollständig nutzbar
• Anthropic: in der Oberfläche derzeit deaktiviert
• Google: in der Oberfläche derzeit deaktiviert

Solange Anthropic und Google deaktiviert sind, erscheinen diese Verbindungen nicht als normal auswählbare Subscription-Quelle im produktiven Picker.

Was der OAuth-Flow in der Oberfläche bietet

Im Bereich Subscription nutzt CLYE AI einen geführten OAuth-Connect-Flow statt eines manuellen API-Key-Formulars.

Dabei kannst du:

• die Verbindung direkt über den jeweiligen Anbieter starten
• die Anmeldung in Produktion auch dann abschließen, wenn lokal kein Port 1455 erreichbar ist
• nach dem Login beim Anbieter die komplette Redirect-URL aus der Browser-Adresszeile einfügen, damit Code und State übernommen werden
• Callback-URLs verarbeiten, die ihre Rückgabewerte als Query-Parameter oder im URL-Hash mitbringen
• pro Verbindung die aktuelle Nutzung bzw. verfügbare Rate-Limit-Quotas direkt in der Oberfläche prüfen
• im Admin-Bereich für OAuth-Abos das Restkontingent als „X % übrig“ statt nur den bisherigen Verbrauch sehen
• zusätzlich die nächste Reset-Zeit des Kontingents direkt in derselben Anzeige nachvollziehen

So schließt du den Login ohne lokalen Callback-Port ab

1. Starte unter Admin → LLM Gateway → Provider → Subscription den Login beim gewünschten Anbieter.
2. Melde dich beim Anbieter wie gewohnt an.
3. Wenn du auf eine Weiterleitungsadresse wie http://localhost:1455/... zurückkommst, kopiere die komplette URL aus der Adresszeile deines Browsers.
4. Füge diese URL in CLYE AI in das dafür vorgesehene Feld ein und bestätige den Abschluss des Logins.
5. Prüfe anschließend in der Provider-Liste, ob die Verbindung als verbunden angezeigt wird.

Für OpenAI bleibt die bisherige Redirect-URI mit localhost:1455 weiterhin gültig. Wenn dieser Port lokal erreichbar ist, kann der bekannte automatische Abschluss des OAuth-Callbacks wie bisher weiter funktionieren.

Wann ein manueller Refresh sinnvoll ist

Wenn du eine Subscription-Verbindung neu anlegst, änderst oder trennst, aktualisiert CLYE AI die Provider-Daten jetzt gezielt. Falls die Modellauswahl trotzdem noch veraltet wirkt, kannst du zusätzlich unter Admin → LLM Gateway den Button Modell-Cache erzwingen verwenden.

Das ist besonders praktisch direkt nach dem Einrichten eines neuen Providers, weil CLYE AI damit die verfügbaren Provider-Modelle sofort neu lädt und den Bot-Modell-Cache aktualisiert, statt auf das normale TTL-Fenster zu warten.

Modelle und Context Size im Admin-Bereich verwalten

Im Admin-Bereich des LLM Gateways kannst du nicht nur Provider und API-Keys verwalten, sondern auch die verfügbare Kontextgröße von Modellen und Routing-Policies pflegen.

Was du jetzt direkt in der Oberfläche siehst und bearbeitest

• Bei physischen Modellen aus dem Provider-Katalog wird die bekannte Context Size direkt in der Modelltabelle angezeigt.
• Bei virtuellen Modellen kannst du eine eigene Context Size setzen.
• Bei Routing-Policies kannst du ebenfalls eine Context Size hinterlegen, die für die Modellangabe des Policy-Alias verwendet wird.

Bedeutung von leer oder 0

Wenn du bei einer Routing-Policy die Context Size leer lässt oder 0 einträgst, nutzt CLYE AI automatisch den kleinsten bekannten Kontext aus der konfigurierten Fallback-Chain.

Das ist sinnvoll, wenn ein Policy-Alias auf mehrere Modelle zeigt und du in GET /v1/models keinen festen Wert erzwingen möchtest.

Typischer Ablauf

1. Öffne Admin → LLM Gateway.
2. Wechsle je nach Ziel in Provider oder Policies.
3. Prüfe in der Tabelle die Spalte Context.
4. Bearbeite ein vorhandenes Modell oder eine Policy.
5. Trage bei Bedarf eine feste Context Size in Tokens ein.
6. Lasse das Feld leer oder setze 0, wenn der Wert automatisch aus der Fallback-Chain abgeleitet werden soll.
7. Wenn du in einer Policy mehrere Capabilities auswählst, bleiben die gewählten Einträge im Editor vollständig sichtbar und klappen nicht in ein allgemeines +N more-Badge zusammen.
8. Speichere die Änderung und prüfe anschließend die Modellanzeige erneut.

Wann feste Werte sinnvoll sind

Ein fester Wert ist vor allem dann hilfreich, wenn du:

• für ein virtuelles Modell bewusst einen eigenen, klar ausgewiesenen Kontext angeben möchtest
• für einen Policy-Alias in GET /v1/models einen stabilen Wert anzeigen willst
• Modellangaben aus mehreren Upstream-Modellen für Clients klar vereinheitlichen möchtest

Modelle im Gateway-Admin direkt testen

Im Bereich Admin → LLM Gateway kannst du Modelle jetzt direkt in einem Test-Chat ausprobieren. So prüfst du schneller, ob ein Provider, ein konkretes Modell oder eine Subscription-Verbindung im Gateway wie erwartet antwortet, ohne erst in einen normalen Produktiv-Chat zu wechseln.

So öffnest du den Test-Chat

1. Öffne Admin → LLM Gateway.
2. Wechsle in den gewünschten Tab, zum Beispiel Provider, Modelle oder Health.
3. Nutze bei Bedarf zuerst die vorhandenen Filter im jeweiligen Tab, um den gewünschten Eintrag schneller zu finden.
4. Klicke beim gewünschten Modell oder Health-Eintrag auf Testen.
5. Der Test-Chat öffnet sich direkt im Gateway-Admin mit dem ausgewählten Modell.

Was der Test-Chat zeigt

Im Test-Chat kannst du:

• direkt Nachrichten an das ausgewählte Modell senden
• den bisherigen Verlauf im Panel behalten oder über Verlauf leeren zurücksetzen
• das Panel wieder schließen, ohne den restlichen Admin-Bereich zu verlassen
• die technischen Call-Specs der letzten Anfrage ein- und ausklappen

Die Call-Specs helfen dir beim Prüfen von Routing und Antwortverhalten. Je nach Modell zeigt CLYE AI dort unter anderem:

• verwendetes Modell und den aufgerufenen Pfad
• Provider-ID und Provider-Name
• Art, Upstream-Modell und public_model
• Context Size, Capabilities und den Quell-Tab
• HTTP-Status, TTFT, Latenz, finish_reason und Token-Verbrauch
• ein vorhandenes extra_body oder eine konkrete Fehlermeldung

Praktisch im Alltag

• Du kannst Modelltests direkt aus der Admin-Oberfläche starten, statt dafür erst einen separaten Chat zu öffnen.
• Das ist besonders hilfreich nach dem Einrichten neuer Provider, Subscription-Modelle oder bei der Fehlersuche im Gateway.
• Der Health-Tab nutzt dafür dieselbe Logik wie die übrigen Admin-Tabellen: Filter bleiben beim Prüfen mehrerer Einträge verlässlich aktiv und die Aktion Testen ist dort konsistent erreichbar.
• Die Admin-Karten im Gateway sind dabei optisch vereinheitlicht, damit sich Nutzung, Modelle und Aktionen in denselben Bereichen konsistenter lesen und bedienen lassen.

Typischer Ablauf

1. Öffne Admin → LLM Gateway.
2. Suche im gewünschten Bereich ein Modell mit dem Button Testen.
3. Klicke auf Testen.
4. Schreibe im rechten Panel eine Nachricht und sende sie ab.
5. Prüfe bei Bedarf die Call-Specs, um zu sehen, welcher Gateway-Aufruf tatsächlich verwendet wurde.
6. Leere den Verlauf oder schließe das Panel, wenn du ein anderes Modell prüfen willst.

Der Test-Chat ist besonders hilfreich, wenn du nach Änderungen an Providern, Policies oder Modell-Metadaten schnell prüfen willst, ob ein Modell wie erwartet antwortet und über welchen Gateway-Pfad der Request gelaufen ist.

Nutzung mit bekannten Libraries

Vercel AI SDK (empfohlen)

Du kannst CLYE AI mit dem Vercel AI SDK als OpenAI-kompatiblen Provider ansprechen.

Installation

pnpm add ai @ai-sdk/openai-compatible
# oder: npm i ai @ai-sdk/openai-compatible

Beispiel (Chat Completions / Streaming)

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const clye = createOpenAICompatible({
  name: 'clye',
  apiKey: process.env.CLYE_LLM_GATEWAY_API_KEY!,
  baseURL: 'https://llm-gateway.clye.ai/v1', // oder die pro Key angezeigte Proxy-URL
});

const result = streamText({
  model: clye.chatModel('gpt-4o-mini'),
  messages: [
    { role: 'user', content: 'Schreibe einen kurzen Absatz über CLYE AI.' },
  ],
});

return result.toDataStreamResponse();

Weitere Details zur Verwendung von OpenAI-kompatiblen Providern im AI SDK:

• https://ai-sdk.dev/providers/openai-compatible-providers

OpenAI SDK (JavaScript)

Wenn du das OpenAI JS SDK nutzt, kannst du in der Regel einfach die Base URL auf den CLYE Gateway umstellen.

Referenz (Beispiel mit baseURL):

• https://ai.google.dev/gemini-api/docs/openai