osc-llm 0.1.8

轻量级大模型推理工具,专注于模型推理延迟,注重框架易用性和可拓展性。

OSC-LLM

简介

osc-llm是一款轻量级别的模型推理框架, 专注于多模态推理的延迟和吞吐量。

特点

• ✅ 延迟低：torch.compile，cuda gragh
• ✅ 吞吐量高：PageAttention
• ✅ 支持多模态推理：llm，tts等
• ✅ 模型量化：WeightOnlyInt8，WeightOnlyInt4

文档地址:

• notion

安装

• 安装最新版本pytorch
• 安装flash-attention
• 安装osc-llm: pip install osc-llm

快速开始

from osc_llm import LLM

llm = LLM(model="checkpoints/Qwen/Qwen3-0.6B")
# 支持批量生成
outputs = llm.generate(prompts=["介绍一下你自己"])
# 支持流式生成
for token in llm.stream(prompt="介绍一下你自己"):
    print(token)

模型支持

LLM模型支持:

• Qwen2ForCausalLM: qwen1.5, qwen2等。
• Qwen3ForCausalLM: qwen3等。

TTS模型支持:

• SparkTTS: todo

致敬

本项目参考了大量的开源项目，特别是以下项目：

• nanovllm
• litgpt
• gpt-fast