local-llm-server
ローカルLLM（mlx / mlx-vlm / llama.cpp）と音声認識（whisper / STT）を束ねる
マルチモデルゲートウェイ。1 プロセス起動するだけで、1 つの公開ポートに複数モデルを配信する。
モデルの事前登録は不要——クライアントが指定した model をその場でロードする。
特徴の全体像は docs/features.md。
インストール
uv を使う。一度入れればどこからでも gw。
git clone https://github.com/ToPo-ToPo-ToPo/local-llm-server
cd local-llm-server
make install # これだけ。導入・PATH 設定・自動起動の登録まで全部やる
途中で管理者パスワードを 1 回聞かれる（Ollama と同じく、最初から PATH に入っている
/usr/local/bin へ gw を置くため。そのままこのシェルで gw が使える）。
入れずにスキップしても壊れない——その場合は新しいターミナルから使える。
導入後は Ollama と同じくサーバーを意識しなくてよい——ログイン時に自動起動し、異常終了時は
自動復活する（gw disable で従来の手動 gw start 運用に戻せる → docs/operation.md）。
make install が「~/.local/bin is not on your PATH」と警告するのは、uv tool install が
シェル設定を変更しないため。uv tool update-shell がその追記を行う（zsh なら ~/.zshrc では
なく ~/.zshenv）。書き込み先はシェルによって違うので、反映は特定ファイルの source では
なく exec $SHELL -l か新しいターミナルで行う。アンインストールは make uninstall
（→ docs/operation.md）。
使い方
gw status # 稼働/停止・PID・URL・起動経過を表示（自動起動済みなら常に稼働）
gw list # 使えるモデル一覧（カタログ＋HF キャッシュ）
gw stop # 停止（再開は gw start か次回ログイン）
gw start # 手動起動（初回は設定を自動生成。自動起動を無効にした場合の入口）
設定は ~/.config/local-llm-server/gateway.toml の 1 箇所（初回の gw start が自動生成。
→ docs/gateway.md）。
接続は公開ポート（既定 http://127.0.0.1:8799/v1）に繋いで model を選ぶだけ。
接続クライアントは別パッケージ local-llm-client:
from local_llm_client import LLMClient
llm = LLMClient(model="ToPo-ToPo/Qwen3.6-27B-mlx-4bit",
base_url="http://127.0.0.1:8799/v1")
print(llm.respond("ローカルLLMの利点を3つ。"))
ドキュメント
- docs/features.md — 特徴と全体像
- docs/operation.md —
gwサブコマンドでの起動・停止・状態確認・アンインストール - docs/gateway.md —
gateway.tomlの全フィールドと振る舞い - docs/llama-cpp.md — llama.cpp（
llama-server）の自動導入・最新モデル追従 - docs/vllm.md — vLLM / SGLang（高スループット生成）
- docs/mtp.md — MTP による高速化
ライセンス
Apache-2.0
1 maintainer
Release files for local-llm-server 0.38.2
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | |
|---|---|---|---|
| local_llm_server-0.38.2.tar.gz | 232.8 kB | Details |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Reset |
|---|---|---|---|---|
| local_llm_server-0.38.2-py3-none-any.whl | Python 3 | none | any | Details |
Total release size: 397.9 kB
Release files / local_llm_server-0.38.2.tar.gz
| Download URL | local_llm_server-0.38.2.tar.gz |
|---|---|
| Size | 232.8 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
a4d0df017176597141754f4e3b95389d263c8963f54fb8844ca2ab690cedcc28
|
|
BLAKE2b-256 checksum How to use checksums |
470ec1316f6c3bd9e276b7ac3fda0bacd3ef534fb3cc54d0fe9ea9edfa3ff958
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.13.10
|
Release files / local_llm_server-0.38.2-py3-none-any.whl
| Download URL | local_llm_server-0.38.2-py3-none-any.whl |
|---|---|
| Size | 165.1 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
91a6e92557f849129d356e3e6d4b8d2aa24e3d95322f36c8a8ae2a2e214b0c39
|
|
BLAKE2b-256 checksum How to use checksums |
914dd9a67b1d23e3dcdb3d81ade00918b169888b725d3804a318f7faed653b01
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/7.0.0 CPython/3.13.10
|
