क्विकस्टार्ट: llm एपीआई रूटर इंटीग्रेट करें

कॉन्फ़िगरेशन: बेस URL और API कुंजी

अपने क्लाइंट को आधिकारिक बेस URL और अपनी विशिष्ट कुंजी का उपयोग करने के लिए सेट करें। अपने OpenAI-कम्पैटिबल SDK को HTTPS://api.llmapirouter.com/v1 की ओर इशारा करें और अपने डैशबोर्ड से प्राप्त कुंजी सौंपें। यह एकमात्र परिवर्तन सभी अनुरोधों को हमारे uncensored मॉडल की ओर निर्देशित करता है बिना आपके एप्लिकेशन लॉजिक में संशोधन के।

बेस टेक्स्ट कंप्लीशन

टेक्स्ट प्रतिक्रियाएँ जनरेट करने के लिए एक मानक चैट कंप्लीशन रिक्वेस्ट भेजें। एंडपॉइंट मैसेज की एक सूची स्वीकार करता है और JSON फॉर्मेट में मॉडल का आउटपुट लौटाता है।

अपना पहला जनरेशन शुरू करने के लिए इस संरचना का उपयोग करें:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

स्ट्रीमिंग रिस्पॉन्सेस (SSE)

stream पैरामीटर को true पर सेट करके स्ट्रीमिंग सक्षम करें। यह Server-Sent Events लौटाता है, जिससे आप पूर्ण प्रतिक्रिया का इंतज़ार करने के बजाय टोकन को जनरेट होते हुए प्रदर्शित कर सकते हैं।

अपने SDK क्लाइंट में स्ट्रीम फ्लैग लागू करें:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

फंक्शन कॉलिंग (टूल्स)

बाहरी फंक्शंस को कॉल करने के लिए मॉडल को सक्षम करने के लिए अपने रिक्वेस्ट में टूल्स परिभाषित करें। टूल डिफिनिशंस की एक सूची पास करें और निर्दिष्ट करें कि मॉडल उनका कब उपयोग करे, इसके लिए tool_choice निर्दिष्ट करें।

Node SDK का उपयोग करके टूल्स कॉन्फ़िगर करें:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

JSON मोड प्रतिक्रिया प्रारूप

response_format को {type: "json_object"} सेट करके मॉडल को वैध JSON आउटपुट करने के लिए फोर्स करें। यह आपके ऐप्लिकेशन में भरोसेमंद पार्सिंग के लिए संरचित डेटा आउटपुट सुनिश्ित करता है।

अपने स्ट्रीमिंग क्लाइंट में जेएसओएन मोड सक्षम करें:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

रेट लिमिट्स और बाधाएँ

प्रत्येक API कुंजी प्रति मिनट 300 अनुरोधों और 8 समवर्ती अनुरोधों का समर्थन करती है। अनुरोध बॉडी 8 MB से कम रहनी चाहिए, और आप संयुक्त प्रॉम्प्ट और कंप्लीशन के लिए 100,000 टोकन निर्दिष्ट कर सकते हैं। त्रुटियां मानक HTTP कोड लौटाती हैं: अमान्य कुंजियों के लिए 401, यदि क्रेडिट समाप्त हो जाए तो 402, और जब आप दर सीमा को पार कर जाते हैं तो 429।