Zum Hauptinhalt springen

LLM Gateway (OpenAI-kompatible API)

CLYE AI kann auch als LLM Gateway genutzt werden. Dabei stellt CLYE AI eine OpenAI-kompatible API bereit (OpenAI Completions/Chat Completions-Stil).

Die API ist unter deiner Whitelabel-Domain erreichbar, z. B.:

  • https://dev.clye.ai/api/llm-gateway/v1
  • allgemein: https://{deine-whitelabel-domain}/api/llm-gateway/v1

Wichtig: Der Pfad .../api/llm-gateway/v1 ist der Entry-Point / Base URL. Die eigentlichen Endpunkte folgen dem OpenAI-Schema (z. B. POST /chat/completions, GET /models, …).

API-Dokumentation (OpenAPI)​

OpenAPI-Dokumentation des LLM Gateway

Die OpenAPI-Dokumentation erreichst du über den Entry-Point:

  • https://{deine-whitelabel-domain}/api/llm-gateway/v1

So sieht „OpenAI-kompatibel“ aus (Referenz)​

Die Struktur der Requests/Responses orientiert sich an der OpenAI API. Als externe Referenz (inkl. unterstützter Pfade wie POST /chat/completions) kannst du z. B. die Dokumentation zu OpenAI-kompatiblen Providern in der Vercel AI SDK nutzen:

API-Keys verwalten​

Organisationseinstellungen: LLM Gateway, API-Keys, Limitierungen und Monitoring

Du verwaltest die Gateway-Keys in den Organisationseinstellungen:

  1. Öffne Organisation → Einstellungen.
  2. Wechsle in den Bereich LLM Gateway.
  3. Lege API-Keys an (du kannst mehrere Keys parallel nutzen).
  4. Optional: Hinterlege Limitierungen pro Key (z. B. für Nutzung oder Budget).
  5. Nutze das Monitoring im selben Bereich, um zu sehen, was über den Gateway passiert.

Nutzung mit bekannten Libraries​

Vercel AI SDK (empfohlen)​

Du kannst CLYE AI mit dem Vercel AI SDK als OpenAI-kompatiblen Provider ansprechen.

Installation

pnpm add ai @ai-sdk/openai-compatible
# oder: npm i ai @ai-sdk/openai-compatible

Beispiel (Chat Completions / Streaming)

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const clye = createOpenAICompatible({
  name: 'clye',
  apiKey: process.env.CLYE_LLM_GATEWAY_API_KEY!,
  baseURL: 'https://{deine-whitelabel-domain}/api/llm-gateway/v1',
});

const result = streamText({
  model: clye.chatModel('gpt-4o-mini'),
  messages: [
    { role: 'user', content: 'Schreibe einen kurzen Absatz über CLYE AI.' },
  ],
});

return result.toDataStreamResponse();

Weitere Details zur Verwendung von OpenAI-kompatiblen Providern im AI SDK:

OpenAI SDK (JavaScript)​

Wenn du das OpenAI JS SDK nutzt, kannst du in der Regel einfach die Base URL auf den CLYE Gateway umstellen.

Referenz (Beispiel mit baseURL):

Inhalt