local-llm-server 0.35.1

ローカルLLM（mlx / mlx-vlm / llama.cpp / vLLM / SGLang）を OpenAI 互換 API で束ねるマルチモデルゲートウェイ（サーバー）。gateway.toml のカタログを 1 ポートで配信し、model で振り分け・遅延起動・LRU 退避・MTP 高速化（Ollama 流の共有デーモン）。接続用クライアントは別パッケージ local-llm-client。

local-llm-server

ローカルLLM（mlx / mlx-vlm / llama.cpp）と音声認識（whisper / STT）を束ねる マルチモデルゲートウェイ。1 プロセス起動するだけで、1 つの公開ポートに複数モデルを配信する。 モデルの事前登録は不要——クライアントが指定した model をその場でロードする。 特徴の全体像は docs/features.md。

インストール

uv を使う。一度入れればどこからでも gw。

git clone https://github.com/ToPo-ToPo-ToPo/local-llm-server
cd local-llm-server
make install            # `gw` を PATH に導入（~/.local/bin/gw）
uv tool update-shell    # 初回のみ。~/.local/bin を PATH に追記する
exec $SHELL -l          # 今のシェルに反映（または新しいターミナルを開く）

make install が「~/.local/bin is not on your PATH」と警告するのは、uv tool install が シェル設定を変更しないため。uv tool update-shell がその追記を行う（zsh なら ~/.zshrc では なく ~/.zshenv）。書き込み先はシェルによって違うので、反映は特定ファイルの source では なく exec $SHELL -l か新しいターミナルで行う。アンインストールは make uninstall （→ docs/operation.md）。

使い方

gw start      # 裏で常駐起動（初回は設定を自動生成）
gw status     # 稼働/停止・PID・URL・起動経過を表示
gw list       # 使えるモデル一覧（カタログ＋HF キャッシュ）
gw stop       # 停止

設定は ~/.config/local-llm-server/gateway.toml の 1 箇所（初回の gw start が自動生成。 → docs/gateway.md）。

接続は公開ポート（既定 http://127.0.0.1:8799/v1）に繋いで model を選ぶだけ。 接続クライアントは別パッケージ local-llm-client:

from local_llm_client import LLMClient

llm = LLMClient(model="ToPo-ToPo/Qwen3.6-27B-mlx-4bit",
                base_url="http://127.0.0.1:8799/v1")
print(llm.respond("ローカルLLMの利点を3つ。"))

ドキュメント

• docs/features.md — 特徴と全体像
• docs/operation.md — gw サブコマンドでの起動・停止・状態確認・アンインストール
• docs/gateway.md — gateway.toml の全フィールドと振る舞い
• docs/llama-cpp.md — llama.cpp（llama-server）の自動導入・最新モデル追従
• docs/vllm.md — vLLM / SGLang（高スループット生成）
• docs/mtp.md — MTP による高速化

ライセンス

Apache-2.0