uip-sdk 0.1.0

UIP — Universal Inference Platform Python SDK

UIP Python SDK

Universal Inference Platform 的 Python 客户端库。

安装

pip install uip-sdk

快速开始

from uip_sdk import UIPClient

# 方式 1: API Key
client = UIPClient(api_key="ggw-xxx...")

# 方式 2: JWT Token
client = UIPClient(token="eyJhbGciOiJIUzI1NiIs...")

# 方式 3: 环境变量 (UIP_API_KEY)
client = UIPClient()

使用示例

对话 (Chat Completions)

resp = client.chat(
    messages=[{"role": "user", "content": "你好"}],
    model="qwen2.5:7b",
)
print(resp.text)

流式生成

for chunk in client.generate("写一首关于春天的诗", stream=True):
    print(chunk.text, end="", flush=True)

Rerank (文档重排序)

results = client.rerank(
    query="CBA季后赛战术分析",
    documents=[
        "CBA联赛采用胜率决定排名",
        "篮球三分线距离为6.75米",
        "广东队采用全场紧逼战术",
    ],
    model="Qwen3-Reranker-0.6B",
    top_n=2,
)
for r in results.results:
    print(f"#{r.index}: {r.document[:30]}... score={r.relevance_score:.2f}")

批量推理

batch = client.batch(
    prompts=["你好", "介绍你自己"],
    model="qwen2.5:7b",
)
for item in batch.results:
    print(f"[{item.index}] {item.response[:50]}")

指定调度策略

client.with_strategy("least_queue").generate("hi")

嵌入向量

resp = client.embed(input="需要向量化的文本", model="bge-m3:567m")
print(len(resp.embedding))  # 768

License

MIT License. Copyright (c) 2026 Zhu Wenbo ([e-mail]).