Tout ce qu'un gateway LLM doit faire, rien de superflu
Conçu pour les équipes qui exposent des LLM à des clients, des produits ou des agents, et qui ont besoin de savoir qui dépense quoi.
Clés virtuelles
Émission, rotation et révocation par tenant. Hash SHA-256 côté serveur, clé affichée une seule fois à l'émission.
Budgets
Plafond en USD par clé. Au dépassement, le gateway refuse la requête avec une erreur OpenAI standard.
Guardrails
Motifs interdits et taille maximale d'entrée, configurables par tenant via l'API ou la console.
Routage multi-fournisseur
Préfixez le modèle par le fournisseur. Le gateway choisit l'endpoint, l'authentification et la transformation de la requête.
Streaming SSE
Chat completions en flux, chunk par chunk, terminé par [DONE], usage inclus.
Suivi d'usage
Chaque requête est journalisée dans Postgres : tokens, coût, modèle, tenant. Agrégats disponibles par tenant.
Isolation des secrets
Les clés fournisseurs restent dans l'environnement du gateway. Ni la console ni les clients ne les voient.
Embeddings et modèles
Endpoints /v1/embeddings et /v1/models compatibles, avec le catalogue complet.
Pensé pour les agents
Sessions persistantes, pooling HTTP/2, préchauffage des connexions : la bibliothèque sous-jacente est orientée workloads agentiques.
Le SDK OpenAI que vous utilisez déjà
Python, TypeScript, Go, curl. Si ça parle OpenAI, ça parle Agentic Gateway.
from openai import OpenAI
client = OpenAI(base_url="https://gw.example.com/v1",
api_key="sk-agentic-…")
r = client.chat.completions.create(
model="gemini/gemini-2.5-flash",
messages=[{"role": "user", "content": "Résume ce texte…"}],
)
print(r.usage.total_tokens)curl -N https://gw.example.com/v1/chat/completions \
-H "Authorization: Bearer sk-agentic-…" \
-H "Content-Type: application/json" \
-d '{"model":"openai/gpt-4o-mini",
"messages":[{"role":"user","content":"Bonjour"}],
"stream":true}'
data: {"object":"chat.completion.chunk","choices":[{"delta":{"content":"Bon"}}]}
data: {"object":"chat.completion.chunk","choices":[{"delta":{"content":"jour"}}]}
data: [DONE]Prêt à mettre vos LLM sous contrôle ?
Déployez le gateway en une commande, ou laissez-nous l'héberger pour vous.