local-llm-server
ローカルLLM（mlx / mlx-vlm / llama.cpp）と音声認識（whisper / STT）を束ねる
マルチモデルゲートウェイ。1 プロセス起動するだけで、1 つの公開ポートに複数モデルを配信する。
モデルの事前登録は不要——クライアントが指定した model をその場でロードする。
特徴の全体像は docs/features.md。
インストール
uv を使う。一度入れればどこからでも gw。
git clone https://github.com/ToPo-ToPo-ToPo/local-llm-server
cd local-llm-server
make install # これだけ。導入・PATH 設定・自動起動の登録まで全部やる
途中で管理者パスワードを 1 回聞かれる（Ollama と同じく、最初から PATH に入っている
/usr/local/bin へ gw を置くため。そのままこのシェルで gw が使える）。
入れずにスキップしても壊れない——その場合は新しいターミナルから使える。
導入後は Ollama と同じくサーバーを意識しなくてよい——ログイン時に自動起動し、異常終了時は
自動復活する（gw disable で従来の手動 gw start 運用に戻せる → docs/operation.md）。
make install が「~/.local/bin is not on your PATH」と警告するのは、uv tool install が
シェル設定を変更しないため。uv tool update-shell がその追記を行う（zsh なら ~/.zshrc では
なく ~/.zshenv）。書き込み先はシェルによって違うので、反映は特定ファイルの source では
なく exec $SHELL -l か新しいターミナルで行う。アンインストールは make uninstall
（→ docs/operation.md）。
使い方
gw status # 稼働/停止・PID・URL・起動経過を表示（自動起動済みなら常に稼働）
gw list # 使えるモデル一覧（カタログ＋HF キャッシュ）
gw stop # 停止（再開は gw start か次回ログイン）
gw start # 手動起動（初回は設定を自動生成。自動起動を無効にした場合の入口）
設定は ~/.config/local-llm-server/gateway.toml の 1 箇所（初回の gw start が自動生成。
→ docs/gateway.md）。
接続は公開ポート（既定 http://127.0.0.1:8799/v1）に繋いで model を選ぶだけ。
接続クライアントは別パッケージ local-llm-client:
from local_llm_client import LLMClient
llm = LLMClient(model="ToPo-ToPo/Qwen3.6-27B-mlx-4bit",
base_url="http://127.0.0.1:8799/v1")
print(llm.respond("ローカルLLMの利点を3つ。"))
ドキュメント
- docs/features.md — 特徴と全体像
- docs/operation.md —
gwサブコマンドでの起動・停止・状態確認・アンインストール - docs/gateway.md —
gateway.tomlの全フィールドと振る舞い - docs/llama-cpp.md — llama.cpp（
llama-server）の自動導入・最新モデル追従 - docs/vllm.md — vLLM / SGLang（高スループット生成）
- docs/mtp.md — MTP による高速化
ライセンス
Apache-2.0
1 maintainer
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file local_llm_server-0.37.2.tar.gz.
File metadata
- Download URL: local_llm_server-0.37.2.tar.gz
- Upload date:
- Size: 212.2 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/7.0.0 CPython/3.13.10
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
81fbe78e304d186caaa03f6721131e1a5dc310803df3c7c63afd1d83204d4ead
|
|
| MD5 |
39ebf3eebeea79e778c595affbe4a2eb
|
|
| BLAKE2b-256 |
6e7f302127de9f46b73b18875a8dae0f165246f329555034dd2fe6e7597a54df
|
File details
Details for the file local_llm_server-0.37.2-py3-none-any.whl.
File metadata
- Download URL: local_llm_server-0.37.2-py3-none-any.whl
- Upload date:
- Size: 153.3 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/7.0.0 CPython/3.13.10
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
773dbf46b433356900473d0d63226bc89721c73766b18353a633eb761eb3ab8b
|
|
| MD5 |
f8d6bd4f30a4fb78c685422b503bf3d6
|
|
| BLAKE2b-256 |
f03d1a012920387993f9dc0a731e4a8add61eff82cdccf7f05bba95d3aef85e5
|
