LLM Gateway (OpenAI-kompatible API)¶

CLYE.ai kann auch als LLM Gateway genutzt werden. Dabei stellt CLYE.ai eine OpenAI-kompatible API bereit (OpenAI Completions/Chat Completions-Stil).

Die API ist unter deiner Whitelabel-Domain erreichbar, z. B.:

https://dev.clye.ai/api/llm-gateway/v1
allgemein: https://{deine-whitelabel-domain}/api/llm-gateway/v1

Wichtig: Der Pfad .../api/llm-gateway/v1 ist der Entry-Point / Base URL. Die eigentlichen Endpunkte folgen dem OpenAI-Schema (z. B. POST /chat/completions, GET /models, …).

API-Dokumentation (OpenAPI)¶

OpenAPI-Dokumentation des LLM Gateway

Die OpenAPI-Dokumentation erreichst du über den Entry-Point:

https://{deine-whitelabel-domain}/api/llm-gateway/v1

So sieht „OpenAI-kompatibel“ aus (Referenz)¶

Die Struktur der Requests/Responses orientiert sich an der OpenAI API. Als externe Referenz (inkl. unterstützter Pfade wie POST /chat/completions) kannst du z. B. die Dokumentation zu OpenAI-kompatiblen Providern in der Vercel AI SDK nutzen:

https://ai-sdk.dev/providers/openai-compatible-providers

API-Keys verwalten¶

Organisationseinstellungen: LLM Gateway – API-Keys, Limitierungen und Monitoring

Du verwaltest die Gateway-Keys in den Organisationseinstellungen:

Öffne Organisation → Einstellungen.
Wechsle in den Bereich LLM Gateway.
Lege API-Keys an (du kannst mehrere Keys parallel nutzen).
Optional: Hinterlege Limitierungen pro Key (z. B. für Nutzung oder Budget).
Nutze das Monitoring im selben Bereich, um zu sehen, was über den Gateway passiert.

Nutzung mit bekannten Libraries¶

Vercel AI SDK (empfohlen)¶

Du kannst CLYE.ai mit dem Vercel AI SDK als OpenAI-kompatiblen Provider ansprechen.

Installation

pnpm add ai @ai-sdk/openai-compatible
# oder: npm i ai @ai-sdk/openai-compatible

Beispiel (Chat Completions / Streaming)

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const clye = createOpenAICompatible({
  name: 'clye',
  apiKey: process.env.CLYE_LLM_GATEWAY_API_KEY!,
  baseURL: 'https://{deine-whitelabel-domain}/api/llm-gateway/v1',
});

const result = streamText({
  model: clye.chatModel('gpt-4o-mini'),
  messages: [
    { role: 'user', content: 'Schreibe einen kurzen Absatz über CLYE.ai.' },
  ],
});

return result.toDataStreamResponse();

Weitere Details zur Verwendung von OpenAI-kompatiblen Providern im AI SDK:

https://ai-sdk.dev/providers/openai-compatible-providers

OpenAI SDK (JavaScript)¶

Wenn du das OpenAI JS SDK nutzt, kannst du in der Regel einfach die Base URL auf den CLYE Gateway umstellen.

Referenz (Beispiel mit baseURL):

https://ai.google.dev/gemini-api/docs/openai