Rychlý start: Integrujte router API LLM

Konfigurace: Základní URL a API Klíč

Nastavte svého klienta tak, aby používal oficiální základní URL a váš unikátní klíč. Směrujte svá SDK kompatibilní s OpenAI na HTTPS://api.llmapirouter.com/v1 a přiřaďte klíč získaný z vašeho panelu. Tato jediná změna směřuje všechny požadavky na náš model bez omezení bez úpravy logiky vaší aplikace.

Základné dokončení textu

Standardní požadavek na dokončení chatu pro generování textových odpovědí. Koncový bod přijímá seznam zpráv a vrací výstup modelu ve formátu JSON.

Použijte tuto strukturu pro spuštění první generace:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Streamované odpovědi (SSE)

Povolte streamování nastavením parametru stream na true. Toto vrací Server-Sent Events, což vám umožňuje zobrazovat tokeny, jak jsou generovány, místo čekání na celou odpověď.

Implementujte příznak stream ve vašem klientovi SDK:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Volání funkcí (Nástroje)

Definujte nástroje v těle žádosti pro povolení modelu volat externí funkce. Předáte seznam definic nástrojů a specifikujte tool_choice pro řízení toho, kdy má model nástroje používat.

Nastavte nástroje pomocí SDK Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Formát odpovědi v režimu JSON

Vynutit na modelu platný JSON nastavením response_format na {type: "json_object"}. To zajišťuje výstup strukturovaných dat pro spolehlivé parsování ve vaší aplikaci.

Režim JSON povolíte ve svém streamovacím klientovi:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limity rychlosti a omezení

Každý API klíč podporuje 300 požadavků za minutu a 8 souběžných požadavků. Tělo požadavku musí zůstat pod 8 MB a můžete specifikovat až 100 000 tokenů pro kombinaci promptu a completion. Chyby vracejí standardní HTTP kódy: 401 pro neplatné klíče, 402 pokud došel kredit a 429 při překročení limitu rychlosti.