Швидкий старт: Інтегруйте маршрутизатор API LLM

Конфігурація: Базовий URL та API-ключ

Встановіть вашого клієнта на використання офіційної базової URL-адреси та вашого унікального ключа. Направте ваші SDK, сумісні з OpenAI, на HTTPS://api.llmapirouter.com/v1 та призначте ключ, отриманий з вашої панелі керування. Ця єдина зміна спрямовує всі запити до нашої моделі без цензури без модифікації логіки вашого додатка.

Базове завершення тексту

Надішліть стандартний запит chat completion для генерації текстових відповідей. Кінцевий пункт приймає список повідомлень і повертає вивід моделі у форматі JSON.

Використовуйте цю структуру, щоб розпочати своє перше генерування:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Потокові відповіді (SSE)

Увімкніть потокову передачу, встановивши параметр stream у true. Це повертає Server-Sent Events, дозволяючи відображати токени по мірі їх генерації, а не чекати повної відповіді.

Реалізуйте прапор потокової передачі у вашому клієнтському SDK:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Виклик функцій (Інструменти)

Визначте інструменти в тілі запиту, щоб дозволити моделі викликати зовнішні функції. Передайте список визначень інструментів і вкажіть tool_choice, щоб керувати тим, коли модель їх використовує.

Налаштуйте інструменти за допомогою Node SDK:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Формат відповіді режиму JSON

Змушуйте модель виводити валідний JSON, встановивши response_format на {type: "json_object"}. Це гарантує структурований вихід даних для надійного парсингу у вашому додатку.

Увімкніть режим JSON у своєму клієнті потокової передачі:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ліміти частоти та обмеження

Кожний API-ключ підтримує 300 запитів на хвилину та 8 паралельних запитів. Розмір тіла запиту має залишатися меншим за 8 МБ, і ви можете вказати до 100,000 токенів для сумарного запиту та відповіді. Помилки повертають стандартні коди HTTP: 401 для недійсних ключів, 402, якщо кредит вичерпано, та 429, коли ви перевищуєте ліміт швидкості.