local-llm-server
ローカルLLM(mlx / mlx-vlm / llama.cpp)と音声認識(whisper / STT)を束ねる
マルチモデルゲートウェイ。1 プロセス起動するだけで、1 つの公開ポートに複数モデルを配信する。
モデルの事前登録は不要——クライアントが指定した model をその場でロードする。
特徴の全体像は docs/features.md。
インストール
uv を使う。一度入れればどこからでも gw。
git clone https://github.com/ToPo-ToPo-ToPo/local-llm-server
cd local-llm-server
make install # これだけ。導入・PATH 設定・自動起動の登録まで全部やる
途中で管理者パスワードを 1 回聞かれる(Ollama と同じく、最初から PATH に入っている
/usr/local/bin へ gw を置くため。そのままこのシェルで gw が使える)。
入れずにスキップしても壊れない——その場合は新しいターミナルから使える。
導入後は Ollama と同じくサーバーを意識しなくてよい——ログイン時に自動起動し、異常終了時は
自動復活する(gw disable で従来の手動 gw start 運用に戻せる → docs/operation.md)。
make install が「~/.local/bin is not on your PATH」と警告するのは、uv tool install が
シェル設定を変更しないため。uv tool update-shell がその追記を行う(zsh なら ~/.zshrc では
なく ~/.zshenv)。書き込み先はシェルによって違うので、反映は特定ファイルの source では
なく exec $SHELL -l か新しいターミナルで行う。アンインストールは make uninstall
(→ docs/operation.md)。
使い方
gw status # 稼働/停止・PID・URL・起動経過を表示(自動起動済みなら常に稼働)
gw list # 使えるモデル一覧(カタログ+HF キャッシュ)
gw stop # 停止(再開は gw start か次回ログイン)
gw start # 手動起動(初回は設定を自動生成。自動起動を無効にした場合の入口)
設定は ~/.config/local-llm-server/gateway.toml の 1 箇所(初回の gw start が自動生成。
→ docs/gateway.md)。
接続は公開ポート(既定 http://127.0.0.1:8799/v1)に繋いで model を選ぶだけ。
接続クライアントは別パッケージ local-llm-client:
from local_llm_client import LLMClient
llm = LLMClient(model="ToPo-ToPo/Qwen3.6-27B-mlx-4bit",
base_url="http://127.0.0.1:8799/v1")
print(llm.respond("ローカルLLMの利点を3つ。"))
ドキュメント
- docs/features.md — 特徴と全体像
- docs/operation.md —
gwサブコマンドでの起動・停止・状態確認・アンインストール - docs/gateway.md —
gateway.tomlの全フィールドと振る舞い - docs/llama-cpp.md — llama.cpp(
llama-server)の自動導入・最新モデル追従 - docs/vllm.md — vLLM / SGLang(高スループット生成)
- docs/mtp.md — MTP による高速化
ライセンス
Apache-2.0
Metadata
Release files for local-llm-server 0.38.6
For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.
Source distribution (sdist)
| File | Size | Uploaded | Provenance | Actions |
|---|---|---|---|---|
| local_llm_server-0.38.6.tar.gz | 241.6 kB | Without provenance | Details for local_llm_server-0.38.6.tar.gz |
Built distribution (wheel)
| File | Interpreter | ABI | Platform | Actions Reset |
|---|---|---|---|---|
| local_llm_server-0.38.6-py3-none-any.whl | Python 3 | none | any | Details for local_llm_server-0.38.6-py3-none-any.whl |
Total release size: 411.2 kB
Release files / local_llm_server-0.38.6.tar.gz
| Download URL | local_llm_server-0.38.6.tar.gz |
|---|---|
| Size | 241.6 kB |
| Tags | Source |
|
SHA-256 checksum How to use checksums |
4a00fde94a84f702db838c142be348aa93d5ee0c7d6fb8d1480409467916a28e
|
|
BLAKE2b-256 checksum How to use checksums |
fda7fdd24e6e7a87c093f37f01dc6f600b4b3193d3a982f2ae37abec8a05c19d
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.13.9
|
Release files / local_llm_server-0.38.6-py3-none-any.whl
| Download URL | local_llm_server-0.38.6-py3-none-any.whl |
|---|---|
| Size | 169.6 kB |
| Tags | Python 3 |
|
SHA-256 checksum How to use checksums |
a775e1a54b579d6f2dc625f2c8f46b0ae51bb1cec7e009ccbd5c0bb0b577c0aa
|
|
BLAKE2b-256 checksum How to use checksums |
edcdf70f7f6a9712ee685687c44008c7d7d70408b223b85c4d4b1a5e2ef7c86f
|
| Upload date | |
|
Uploaded using Trusted Publishing? What is trusted publishing? |
No |
| Uploaded via |
twine/6.2.0 CPython/3.13.9
|
Security for local-llm-server 0.38.6
Provenance
Provenance describes where a file came from. On PyPI, provenance is shared via attestations, which provide a verifiable record of the build or publishing details. View details, limitations and caveats.
No provenance found
None of the files in this release were uploaded with provenance metadata.
A note on package security
PyPI is a repository for distributing packages, not a service for auditing them. While third-party security researchers and our staff do their best to detect and remove malicious packages, PyPI cannot guarantee the quality, security or suitability of any given package.
To learn more about protecting yourself from malicious actors, visit our package security documentation.