התחלה מהירה: שילבו את ממסל ה-API של LLM

תצורה: כתובת בסיס ומפתח API

הגדר את הלקוח שלך להשתמש בכתובת ה-URL הבסיסית הרשמית ובמפתח הייחודי שלך. נקד את ה-SDKs התואמים ל-OpenAI שלך ל-HTTPS://api.llmapirouter.com/v1 והקצה את המפתח שהתקבל מהלוח שלך. שינוי יחיד זה מפנה את כל הבקשות למודל ה-uncensored שלנו ללא שינוי לוגיקת היישום שלך.

השלמת טקסט בסיסית

שלח בקשת השלמת צ'אט סטנדרטית כדי לייצר תגובות טקסט. הנקודה הקצה מקבלת רשימת הודעות ומחזירה את פלט המודל בפורמט JSON.

השתמשו במבנה זה כדי להתחיל את יצירת הטקסט הראשונה שלכם:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

תגובות בסטרימינג (SSE)

אפשרו זרמת נתונים על ידי הגדרת הפרמטר stream לערך true. פעולה זו מחזירה אירועים שנשלפים מהשרת (SSE), ומאפשרת לכם להציג אסימונים כפי שהם נוצרים במקום להמתין לתגובה המלאה.

הטמעת דגל הזרימה בלקוח ה-SDK שלך:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tool Calling (כלים)

הגדירו כלים בבקשה כדי לאפשר למודל לקרוא לפונקציות חיצוניות. העבירו רשימה של הגדרות כלים וציינו tool_choice כדי לשלוט מתי המודל משתמש בהן.

הגדר כלים באמצעות ה-SDK של Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

פורמט תגובה במצב JSON

כפה על המודל להפיק JSON תקין על ידי הגדרת response_format ל-{type: "json_object"}. זה מבטיח פלט נתונים מבני לפיענוח אמין באפליקציה שלך.

אפשר מצב JSON בלקוח הזרימה שלך:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

מגבלות קצב ואילוצים

כל מפתח API תומך ב-300 בקשות לדקה ו-8 בקשות מקבילות. גוף הבקשה חייב להיות מתחת ל-8 MB, וניתן לציין עד 100,000 טוקנים לשילוב של פלט ושלם משולב. שגיאות מחזירות קודי HTTP סטנדרטיים: 401 למפתחות לא חוקיים, 402 אם האשראי אזל, ו-429 כאשר חצית את מגבלת הקצב.