��� OmniCache AI Proxy 2.1
Zero-Latency Semantic Caching, Autonomous Agent Accelerator & Enterprise Cost Gateway for LLMs.
Slash your OpenAI & Anthropic API bills by 40%���75%. Deliver sub-millisecond AI responses with zero code refactoring.
������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
��� THE OMNICACHE ARCHITECTURE ���
������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
[ Client / Agent / IDE ] ��������� (POST /v1/chat/completions OR /v1/messages)
���
���
������������������������������������������������������������������������������������������������
��� OmniCache AI Gateway 2.1 ���
��� - Virtual Key Quota Guard ���
��� - Zero-Knowledge PII Shield ���
��� - Prometheus /metrics FinOps���
������������������������������������������������������������������������������������������������
���
���������������������������������������������������������������������������������������������������������������������������������������������������
��� HIT (< 1ms, $0.00) ��� MISS / BYPASS
��������������������������������������������������������������������������� ���������������������������������������������������������������������������
��� Token Jitter SSE ��� ��� SingleFlight Mutex ���
��� Stream Replayer ��� ��� & Cost Cascade Router ���
��� (~65 tok/s, <10ms TTFT��� ��� (Gemini 2.5 / Claude) ���
��� & Agent Tool Replayer ��� ���������������������������������������������������������������������������
��������������������������������������������������������������������������� ���
���
[ Upstream AI Providers ]
(OpenAI / Anthropic / Gemini)
���� Why OmniCache?
- ��� Sub-Millisecond Vector Semantic Caching (<0.8ms): Pure in-memory 512-d feature projection embedder matches paraphrased queries with zero remote API lag.
- ������� Coding Agent Tool-Loop Accelerator: Caches idempotent tool calls (
read_file,git status,grep) for Claude Code, Cursor, and Devin, cutting agent loop runtimes from 15s to 350ms. - ���� Adaptive Cost Arbitrage & Model Cascade: Automatically routes simple formatting / classification queries to Gemini 2.5 Flash ($0.05/1M), slashing non-cached cloud bills by 75%.
- ������� Multi-Modal Vision Perception Cache: Uses 64-bit Perceptual Hashing (dHash) to match UI screenshots, invoices, and images in <0.3ms at $0.00.
- ������� Zero-Knowledge Privacy Vault: Reversible tokenized masking of SSNs, credit cards, emails, and API keys before sending upstream (HIPAA & SOC2 ready).
- ���� Token Jitter SSE Streaming: Smoothly replays cached tokens at natural typing speed (~65 tokens/sec) with
<10msTime-To-First-Token, fixing the 0ms UI typing blast. - ���� Built-in System Doctor & Benchmarker: Instant
omnicache doctorandomnicache benchmarkmicro-profiling right from the terminal. - ���� Enterprise Prometheus & CSV Ledger: Exposes
/metricsfor Grafana and one-click/v1/cache/exportCSV financial downloads.
���� Quickstart (1-Line Integration)
1. Install & Start OmniCache
# Install from PyPI
pip install omnicache-proxy
# Start proxy in background
omnicache &
The gateway is now live at http://localhost:8000 with the analytics dashboard at http://localhost:8000/dashboard.
2. Connect Your Application (Zero Code Changes)
Claude Code (Terminal Assistant):
ANTHROPIC_BASE_URL="http://localhost:8000" claude
Python (OpenAI SDK):
from openai import OpenAI
# Simply route baseURL to OmniCache
client = OpenAI(
api_key="your-api-key",
base_url="http://localhost:8000/v1"
)
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "How do I optimize SQL queries?"}]
)
print(response.choices[0].message.content)
TypeScript / Node.js:
import OpenAI from "openai";
const openai = new OpenAI({
apiKey: "your-api-key",
baseURL: "http://localhost:8000/v1"
});
���� Live Web Telemetry Dashboard
Open http://localhost:8000/dashboard in your browser to inspect live:
- ���� Total Cost Saved ($ USD) & Tokens Saved (100% Free)
- ��� P99 Sub-Millisecond Latency
- ������� PII Masked Items Scrubbed
- ���� Virtual Key Quotas & Team Spending
- ���� One-Click CSV Export & Prometheus
/metrics
���� Complete Documentation Suite
| Document | Description |
|---|---|
| ������� Architecture Specification | Deep technical breakdown of Radix Trees, Intent Gating, SingleFlight, and SSE Replay. |
| ���� API Reference | Full REST & Messages API specification, developer headers, and error codes. |
| ���� Quickstart Guide | Step-by-step onboarding for Python, Node.js, Claude Code, Cursor, and Docker. |
| ������� Troubleshooting & FAQ | The complete "Help Me" diagnostic manual and debugging guide. |
| ���� Research & Product Strategy | Competitive teardown, provider prompt caching math, and 24-month roadmap. |
| ���� Security Policy | Responsible vulnerability disclosure, encryption, and patch SLAs. |
| ������� Privacy Policy | Zero-knowledge architecture, no-retention guarantee, and HIPAA/GDPR disclosures. |
| ���� Terms of Service & SLA | 99.99% uptime guarantee, sub-ms latency SLA, and enterprise support tiers. |
| ���� Contributing Guide | Development setup, PR workflow, and test verification guidelines. |
���� Running the Test Suite & Benchmarks
# Run 28 Unit & Integration Tests
pytest tests/ -v
# Run Built-in Micro-Benchmark
omnicache benchmark
# Run Subsystem Doctor Diagnostics
omnicache doctor
���� License
OmniCache AI Proxy is open-source software licensed under the MIT License.
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file omnicache_proxy-2.1.1.tar.gz.
File metadata
- Download URL: omnicache_proxy-2.1.1.tar.gz
- Upload date:
- Size: 54.4 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via:
python-httpx/0.28.1
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
4f9a3b8c137045b60eee94c926b2bbee9b480ec6b2374b28ad5b8cbd2bdda06b
|
|
| MD5 |
6cdf36354db75cac620accbf179fd814
|
|
| BLAKE2b-256 |
95d109cd3b05304c12df23fae0a3f23cb280c2dbc8fac9bc8c862eefdbd5d919
|
File details
Details for the file omnicache_proxy-2.1.1-py3-none-any.whl.
File metadata
- Download URL: omnicache_proxy-2.1.1-py3-none-any.whl
- Upload date:
- Size: 50.7 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via:
python-httpx/0.28.1
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
5dca3736355c7fccc799b8c0673616f88412e294d1bb8355de2584af37057843
|
|
| MD5 |
4bca567e5d00616f0038fb6750fa0097
|
|
| BLAKE2b-256 |
91b52d9cb51236482ed3f1e3ce603772d2e9adf8b69e66affeba8c5a0a5a42c1
|