빠른 시작: llm api 라우터 통합하기

구성: 기본 URL 및 API 키

클라이언트를 공식 기본 URL과 고유 키를 사용하도록 설정하세요. OpenAI 호환 SDK를 HTTPS://api.llmapirouter.com/v1로 가리키고 대시보드에서 검색한 키를 할당하세요. 이 단일 변경으로 애플리케이션 로직을 수정하지 않고도 모든 요청을 당사 비검열 모델로 보냅니다.

기본 텍스트 완성

텍스트 응답을 생성하려면 표준 채팅 완료 요청을 보내세요. 엔드포인트는 메시지 목록을 받아 JSON 형식으로 모델의 출력을 반환합니다.

첫 번째 생성을 시작하려면 이 구조를 사용하세요:

Copycurl https://api.llmapirouter.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "list all npm packages"}]
  }'

스트리밍 응답 (SSE)

stream 파라미터를 true로 설정하여 스트리밍을 활성화하세요. 이는 Server-Sent Events를 반환하므로 전체 응답을 기다리지 않고 생성되는 대로 토큰을 표시할 수 있습니다.

SDK 클라이언트에서 stream 플래그를 구현하세요:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmapirouter.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

함수 호출 (도구)

요청에 도구를 정의하여 모델이 외부 함수를 호출하도록 하세요. 도구 정의 목록을 전달하고 모델이 이를 사용할 시기를 제어하기 위해 tool_choice를 지정하세요.

Node SDK를 사용하여 도구를 구성하세요:

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmapirouter.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

JSON 모드 응답 형식

response_format을 {type: "json_object"}로 설정하여 유효한 JSON 출력을 강제하세요. 이를 통해 애플리케이션에서 신뢰할 수 있는 파싱을 위해 구조화된 데이터 출력을 보장합니다.

스트리밍 클라이언트에서 JSON 모드를 활성화하세요:

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

속도 제한 및 제약 조건

각 API 키는 분당 300회 요청 및 8개의 동시 요청을 지원합니다. 요청 본문은 8MB 미만이어야 하며, 프롬프트와 완료의 합계에 대해 최대 100,000 토큰을 지정할 수 있습니다. 오류는 표준 HTTP 코드를 반환합니다: 키가 유효하지 않으면 401, 크레딧이 고갈되면 402, 속도 제한을 초과하면 429.