Pengenalan: Integrasikan perute api llm

Konfigurasi: URL Asas dan Kunci API

Tetapkan klien anda untuk menggunakan URL asas rasmi dan kunci unik anda. Arahkan SDK serasi OpenAI anda ke HTTPS://api.llmapirouter.com/v1 dan tetapkan kunci yang diperoleh dari papan pemuka anda. Perubahan tunggal ini mengarahkan semua permintaan ke model uncensored kami tanpa mengubah logik aplikasi anda.

Penyiapan Teks Asas

Hantar permintaan penyelesaian chat standard untuk menjana respons teks. Hujung endpoint menerima senarai mesej dan mengembalikan output model dalam format JSON.

Gunakan struktur ini untuk memulakan penjanaan pertama anda:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Respons Streaming (SSE)

Aktifkan penstriman dengan menetapkan parameter stream kepada true. Ini mengembalikan Server-Sent Events, membolehkan anda memaparkan token seperti yang dijana daripada menunggu respons penuh.

Laksanakan bendera penstriman dalam klien SDK anda:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Panggilan Fungsi (Alat)

Takrifkan alat dalam permintaan anda untuk membolehkan model memanggil fungsi luaran. Hantar senarian takrifan alat dan nyatakan tool_choice untuk mengawal bila model menggunakannya.

Konfigurasikan alat menggunakan SDK Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Format Respons Mod JSON

Paksa model untuk mengeluarkan JSON sah dengan menetapkan response_format kepada {type: "json_object"}. Ini memastikan output data terstruktur untuk penguraian yang boleh dipercayai dalam aplikasi anda.

Dayakan mod JSON dalam klien aliran anda:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Had had laju dan kekangan

Setiap kunci API menyokong 300 permintaan setiap minit dan 8 permintaan serentak. Badan permintaan mesti kekal di bawah 8 MB, dan anda boleh menentukan sehingga 100,000 token untuk gabungan prompt dan penyelesaian. Ralat memulangkan kod HTTP standard: 401 untuk kunci tidak sah, 402 jika kredit telah habis, dan 429 apabila anda melebihi had kadar.