Szybki start: Zintegruj router API LLM

Konfiguracja: Podstawowy URL i Klucz API

Skonfiguruj swojego klienta tak, aby używał oficjalnego base URL i Twojego unikalnego klucza. Wskaż swoje SDK kompatybilne z OpenAI na HTTPS://api.llmapirouter.com/v1 i przypisz klucz pobrany z pulpitu nawigacyjnego. Ta pojedyncza zmiana kieruje wszystkie żądania do naszego modelu uncensored bez modyfikowania logiki aplikacji.

Podstawowe Uzupełnianie Tekstu

Standardowe żądanie chat completion, aby wygenerować odpowiedzi tekstowe. Endpoint akceptuje listę wiadomości i zwraca output modelu w formacie JSON.

Użyj tej struktury, aby rozpocząć swoje pierwsze generowanie:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Odpowiedzi strumieniowe (SSE)

Włącz strumieniowanie, ustawiając parametr stream na true. Zwraca to Server-Sent Events, pozwalając na wyświetlanie tokenów w miarę ich generowania, zamiast czekać na pełną odpowiedź.

Wdroż flagę strumienia w kliencie SDK:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Wywoływanie funkcji (Narzędzia)

Zdefiniuj narzędzia w żądaniu, aby umożliwić modelowi wywoływanie zewnętrznych funkcji. Przekaz listę definicji narzędzi i określ tool_choice, aby kontrolować, kiedy model ich używa.

Skonfiguruj narzędzia za pomocą SDK Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Format odpowiedzi trybu JSON

Wymuszaj na modelu poprawne dane JSON, ustawiając response_format na {type: "json_object"}. Zapewnia to strukturalne dane wyjściowe do niezawodnego parsowania w Twojej aplikacji.

Włącz tryb JSON w swoim kliencie strumieniowym:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Limity szybkości i ograniczenia

Każdy klucz API obsługuje 300 żądań na minutę i 8 żądań równoległych. Rozmiar ciała żądania musi wynosić mniej niż 8 MB, a możesz określić do 100,000 tokenów dla połączonego promptu i uzupełnienia. Błędy zwracają standardowe kody HTTP: 401 dla nieprawidłowych kluczy, 402 jeśli kredyt został wyczerpany, a 429 gdy przekroczysz limit szybkości.