local-llm-server
ローカルLLM（mlx / mlx-vlm / llama.cpp）と音声認識（whisper / STT）を束ねる
マルチモデルゲートウェイ。1 プロセス起動するだけで、1 つの公開ポートに複数モデルを配信する。
モデルの事前登録は不要——クライアントが指定した model をその場でロードする。
特徴の全体像は docs/features.md。
インストール
uv を使う。一度入れればどこからでも gw。
git clone https://github.com/ToPo-ToPo-ToPo/local-llm-server
cd local-llm-server
make install # これだけ。導入・PATH 設定・自動起動の登録まで全部やる
途中で管理者パスワードを 1 回聞かれる（Ollama と同じく、最初から PATH に入っている
/usr/local/bin へ gw を置くため。そのままこのシェルで gw が使える）。
入れずにスキップしても壊れない——その場合は新しいターミナルから使える。
導入後は Ollama と同じくサーバーを意識しなくてよい——ログイン時に自動起動し、異常終了時は
自動復活する（gw disable で従来の手動 gw start 運用に戻せる → docs/operation.md）。
make install が「~/.local/bin is not on your PATH」と警告するのは、uv tool install が
シェル設定を変更しないため。uv tool update-shell がその追記を行う（zsh なら ~/.zshrc では
なく ~/.zshenv）。書き込み先はシェルによって違うので、反映は特定ファイルの source では
なく exec $SHELL -l か新しいターミナルで行う。アンインストールは make uninstall
（→ docs/operation.md）。
使い方
gw status # 稼働/停止・PID・URL・起動経過を表示（自動起動済みなら常に稼働）
gw list # 使えるモデル一覧（カタログ＋HF キャッシュ）
gw stop # 停止（再開は gw start か次回ログイン）
gw start # 手動起動（初回は設定を自動生成。自動起動を無効にした場合の入口）
設定は ~/.config/local-llm-server/gateway.toml の 1 箇所（初回の gw start が自動生成。
→ docs/gateway.md）。
接続は公開ポート（既定 http://127.0.0.1:8799/v1）に繋いで model を選ぶだけ。
接続クライアントは別パッケージ local-llm-client:
from local_llm_client import LLMClient
llm = LLMClient(model="ToPo-ToPo/Qwen3.6-27B-mlx-4bit",
base_url="http://127.0.0.1:8799/v1")
print(llm.respond("ローカルLLMの利点を3つ。"))
ドキュメント
- docs/features.md — 特徴と全体像
- docs/operation.md —
gwサブコマンドでの起動・停止・状態確認・アンインストール - docs/gateway.md —
gateway.tomlの全フィールドと振る舞い - docs/llama-cpp.md — llama.cpp（
llama-server）の自動導入・最新モデル追従 - docs/vllm.md — vLLM / SGLang（高スループット生成）
- docs/mtp.md — MTP による高速化
ライセンス
Apache-2.0
1 maintainer
Release files for local-llm-server 0.38.5
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | |
|---|---|---|---|
| local_llm_server-0.38.5.tar.gz | 239.4 kB | Details |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| local_llm_server-0.38.5-py3-none-any.whl | Python 3 | none | any | Details |
Total release size: 408.0 kB
Release files / local_llm_server-0.38.5.tar.gz
| Download URL | local_llm_server-0.38.5.tar.gz |
|---|---|
| Size | 239.4 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
2378a142c9ae9f318c400974e32d87132d3fc084641dff6cc4fdc90a14bc9403
|
|
BLAKE2b-256 checksum How to use checksums |
4e39c29c3b8df41e6dfda7e92fb9511bdc52345b76cd90cba60cd6d366c5fd43
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.13.9
|
Release files / local_llm_server-0.38.5-py3-none-any.whl
| Download URL | local_llm_server-0.38.5-py3-none-any.whl |
|---|---|
| Size | 168.6 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
339eab977b6f5343d64dcfe1f39136ef405ba97b3cf4acdd2469825f505fefb6
|
|
BLAKE2b-256 checksum How to use checksums |
e019b3975c581e33e2114d75f3a37c035f0cc08d58f0687915087020a05d33bd
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.13.9
|
