Hướng dẫn nhanh: Tích hợp bộ định tuyến api llm

Cấu hình: URL cơ sở và Khóa API

Thiết lập client của bạn sử dụng URL cơ sở chính thức và khóa độc nhất của bạn. Điểm đến các SDK tương thích OpenAI của bạn là HTTPS://api.llmapirouter.com/v1 và gán khóa đã lấy từ bảng điều khiển của bạn. Thay đổi đơn lẻ này định tuyến mọi yêu cầu đến mô hình không kiểm duyệt của chúng tôi mà không cần sửa đổi logic ứng dụng của bạn.

Hoàn thành Văn bản Cơ bản

Gửi một yêu cầu hoàn tất hội thoại tiêu chuẩn để tạo phản hồi văn bản. Endpoint chấp nhận danh sách các tin nhắn và trả về đầu ra của mô hình ở định dạng JSON.

Sử dụng cấu trúc này để bắt đầu lần tạo nội dung đầu tiên của bạn:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

Phản hồi luồng (SSE)

Bật chế độ stream bằng cách đặt tham số stream thành true. Điều này trả về Server-Sent Events, cho phép bạn hiển thị token khi chúng được tạo thay vì chờ đợi phản hồi đầy đủ.

Triển khai cờ stream trong máy khách SDK của bạn:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Gọi hàm (Công cụ)

Định nghĩa các công cụ trong yêu cầu của bạn để cho phép mô hình gọi các hàm bên ngoài. Truyền một danh sách các định nghĩa công cụ và chỉ định tool_choice để kiểm soát khi nào mô hình sử dụng chúng.

Cấu hình các công cụ bằng SDK Node:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Định dạng phản hồi Chế độ JSON

Buộc mô hình xuất ra JSON hợp lệ bằng cách đặt response_format thành {type: "json_object"}. Điều này đảm bảo đầu ra dữ liệu có cấu trúc để phân tích cú pháp đáng tin cậy trong ứng dụng của bạn.

Bật chế độ JSON trong máy khách streaming của bạn:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Giới hạn tốc độ và Ràng buộc

Mỗi khóa API hỗ trợ 300 yêu cầu mỗi phút và 8 yêu cầu đồng thời. Thân yêu cầu phải dưới 8 MB, và bạn có thể chỉ định tối đa 100,000 token cho prompt và kết hợp hoàn thành. Lỗi trả về các mã HTTP tiêu chuẩn: 401 cho khóa không hợp lệ, 402 nếu tín dụng đã cạn kiệt, và 429 khi bạn vượt quá giới hạn tốc độ.