Panduan Cepat: Integrasi router api llm

Konfigurasi: URL Dasar dan Kunci API

Atur klien Anda untuk menggunakan URL dasar resmi dan kunci unik Anda. Arahkan SDK Anda yang kompatibel dengan OpenAI ke HTTPS://api.llmapirouter.com/v1 dan tetapkan kunci yang diambil dari dasbor Anda. Perubahan tunggal ini mengarahkan semua permintaan ke model uncensored kami tanpa memodifikasi logika aplikasi Anda.

Penyelesaian Teks Dasar

Kirimkan permintaan completion chat standar untuk menghasilkan respons teks. Endpoint menerima daftar pesan dan mengembalikan output model dalam format JSON.

Gunakan struktur ini untuk memulai generasi pertama Anda:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Respons Streaming (SSE)

Aktifkan streaming dengan mengatur parameter stream menjadi true. Ini mengembalikan Server-Sent Events, memungkinkan Anda menampilkan token saat dihasilkan daripada menunggu respons penuh.

Implementasikan flag stream di klien SDK Anda:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Pemanggilan Fungsi (Alat)

Tentukan alat dalam permintaan Anda untuk memungkinkan model memanggil fungsi eksternal. Berikan daftar definisi alat dan tentukan tool_choice untuk mengontrol kapan model menggunakannya.

Konfigurasikan alat menggunakan SDK Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Format Respons Mode JSON

Paksa model untuk menghasilkan JSON valid dengan mengatur response_format menjadi {type: "json_object"}. Ini memastikan output data terstruktur untuk parsing yang andal di aplikasi Anda.

Aktifkan mode JSON di klien streaming Anda:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Batas Laju dan Kendala

Setiap kunci API mendukung 300 permintaan per menit dan 8 permintaan simultan. Badan permintaan harus tetap di bawah 8 MB, dan Anda dapat menentukan hingga 100,000 token untuk prompt dan penyelesaian gabungan. Error mengembalikan kode HTTP standar: 401 untuk kunci tidak valid, 402 jika kredit habis, dan 429 saat Anda melebihi batas laju.