Hızlı Başlangıç: LLM API yönlendiricisini entegre edin

Yapılandırma: Temel URL ve API Anahtarı

İstemcinizi resmi base URL'i ve benzersiz anahtarınızı kullanacak şekilde yapılandırın. OpenAI-uyumlu SDK'larınızı HTTPS://api.llmapirouter.com/v1 adresine yönlendirin ve panodan aldığınız anahtarı atayın. Bu tek değişiklik, uygulama mantığınızı değiştirmeden tüm istekleri uncensored modelimize yönlendirir.

Temel Metin Tamamlama

Metin yanıtı oluşturmak için standart bir chat completion isteği gönderin. Uç nokta, bir dizi mesaj kabul eder ve modelin çıktısını JSON formatında döndürür.

İlk üretiminizi başlatmak için bu yapıyı kullanın:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Akış Yanıtları (SSE)

Akış özelliğini etkinleştirmek için stream parametresini true olarak ayarlayın. Bu, tam yanıtı beklemek yerine tokenların oluşturulduğu anda gösterilmesini sağlayan Sunucu Gönderilen Olayları döndürür.

SDK istemcinizde akış bayrağını uygulayın:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Fonksiyon Çağırma (Araçlar)

Modelin harici işlevleri çağırabilmesini sağlamak için istek gövnenize araçlar tanımlayın. Bir araç tanımlama listesi iletin ve modelin bunları ne zaman kullanacağını kontrol etmek için tool_choice'u belirtin.

Araçları Node SDK kullanarak yapılandırın:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

JSON Modu Yanıt Formatı

response_format parametresini {type: "json_object"} olarak ayarlayarak modelin geçerli JSON çıktısı vermesini sağlayın. Bu, uygulamanızda güvenilir ayrıştırma için yapılandırılmış veri çıktısını garanti eder.

Akış istemcinizde JSON modunu etkinleştirin:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Saniye Başına İstek Limitleri ve Kısıtlamalar

Her API anahtarı dakikada 300 istek ve 8 eşzamanlı istek destekler. İstek gövdesi 8 MB'ı aşmamalıdır ve birlikte istem ile tamamlama için 100,000 token'a kadar belirtebilirsiniz. Hatalar standart HTTP kodlarını döndürür: geçersiz anahtarlar için 401, kredi tükendiğinde 402 ve hız sınırını aştığınızda 429.