เริ่มต้นใช้งาน: ผสานรวมตัวจัดเส้นทาง API LLM

การกำหนดค่า: URL พื้นฐานและคีย์ API

ตั้งค่าไคลเอนต์ของคุณให้ใช้ URL ฐานอย่างเป็นทางการและคีย์เฉพาะของคุณ ชี้ SDK ที่เข้ากันได้กับ OpenAI ของคุณไปยัง HTTPS://api.llmapirouter.com/v1 และกำหนดคีย์ที่ดึงจากแดชบอร์ดของคุณ การเปลี่ยนแปลงเพียงครั้งนี้ออกเส้นทางคำขอทั้งหมดไปยังโมเดล uncensored ของเราโดยไม่แก้ไขตรรกะแอปพลิเคชันของคุณ

การเสร็จสิ้นข้อความพื้นฐาน

ส่งคำขอ chat completion มาตรฐานเพื่อสร้างข้อความตอบกลับ เอนด์พอยต์ยอมรับรายการข้อความและส่งผลลัพธ์ของโมเดลในรูปแบบ JSON

ใช้โครงสร้างนี้เพื่อเริ่มการสร้างเนื้อหาครั้งแรกของคุณ:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

การตอบกลับแบบสตรีมมิ่ง (SSE)

เปิดใช้งานการสตรีมโดยการตั้งค่าพารามิเตอร์ stream เป็น true ซึ่งส่ง Server-Sent Events ทำให้คุณสามารถแสดงโทเค็นขณะที่กำลังถูกสร้างขึ้น แทนที่จะรอคำตอบเต็มรูปแบบ

เปิดใช้งานสตรีมในไคลเอนต์ SDK ของคุณ:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

การเรียกใช้ฟังก์ชัน (เครื่องมือ)

กำหนดเครื่องมือในคำขอเพื่อให้โมเดลสามารถเรียกใช้ฟังก์ชันภายนอก ส่งรายการคำจำกัดความของเครื่องมือและระบุ tool_choice เพื่อควบคุมเมื่อโมเดลจะใช้เครื่องมือเหล่านี้

กำหนดค่า tools โดยใช้ Node SDK:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

รูปแบบการตอบกลับโหมด JSON

บังคับให้โมเดลส่งออก JSON ที่ถูกต้องโดยการตั้งค่า response_format เป็น {type: "json_object"} ซึ่งรับประกันการส่งออกข้อมูลที่มีโครงสร้างเพื่อการแยกวิเคราะห์ที่เชื่อถือได้ในแอปพลิเคชันของคุณ

เปิดใช้งานโหมด JSON ในไคลเอนต์สตรีมของคุณ:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

อัตราจำกัดและข้อจำกัด

คีย์ API แต่ละตัวรองรับ 300 คำขอต่อนาที และ 8 คำขอพร้อมกัน body คำขอต้องไม่เกิน 8 MB และคุณสามารถระบุได้สูงสุด 100,000 tokens สำหรับ prompt และ completion รวมกัน error ส่งกลับรหัส HTTP มาตรฐาน: 401 สำหรับคีย์ไม่ถูกต้อง 402 หากเครดิตหมด และ 429 เมื่อคุณเกิน rate limit