Skip to main content

��� OmniCache AI Proxy 2.0

Zero-Latency Semantic Caching, Autonomous Agent Accelerator & Enterprise Cost Gateway for LLMs.
Slash your OpenAI & Anthropic API bills by 40%���75%. Deliver sub-millisecond AI responses with zero code refactoring.

Version License Tests Latency Python


������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
���                              THE OMNICACHE ARCHITECTURE                                ���
������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

 [ Client / Agent / IDE ] ��������� (POST /v1/chat/completions OR /v1/messages)
                                       ���
                                       ���
                       ������������������������������������������������������������������������������������������������
                       ���   OmniCache AI Gateway 2.0   ���
                       ���  - Virtual Key Quota Guard   ���
                       ���  - Zero-Knowledge PII Shield ���
                       ������������������������������������������������������������������������������������������������
                                      ���
              ���������������������������������������������������������������������������������������������������������������������������������������������������
              ��� HIT (< 1ms, $0.00)                            ��� MISS / BYPASS
  ���������������������������������������������������������������������������                       ���������������������������������������������������������������������������
  ��� Token Jitter SSE      ���                       ��� SingleFlight Mutex    ���
  ��� Stream Replayer       ���                       ��� & Cost Cascade Router ���
  ��� (~65 tok/s, <10ms TTFT���                       ��� (Gemini 2.5 / Claude) ���
  ���������������������������������������������������������������������������                       ���������������������������������������������������������������������������
                                                              ���
                                                              ���
                                                  [ Upstream AI Providers ]
                                                  (OpenAI / Anthropic / Gemini)

���� Why OmniCache?

  1. ��� Sub-Millisecond Vector Semantic Caching (<0.8ms): Pure in-memory 512-d feature projection embedder matches paraphrased queries with zero remote API lag.
  2. ������� Coding Agent Tool-Loop Accelerator: Caches idempotent tool calls (read_file, git status, grep) for Claude Code, Cursor, and Devin, cutting agent loop runtimes from 15s to 350ms.
  3. ���� Adaptive Cost Arbitrage & Model Cascade: Automatically routes simple formatting / classification queries to Gemini 2.5 Flash ($0.05/1M), slashing non-cached cloud bills by 75%.
  4. ������� Multi-Modal Vision Perception Cache: Uses 64-bit Perceptual Hashing (dHash) to match UI screenshots, invoices, and images in <0.3ms at $0.00.
  5. ������� Zero-Knowledge Privacy Vault: Reversible tokenized masking of SSNs, credit cards, emails, and API keys before sending upstream (HIPAA & SOC2 ready).
  6. ���� Token Jitter SSE Streaming: Smoothly replays cached tokens at natural typing speed (~65 tokens/sec) with <10ms Time-To-First-Token, fixing the 0ms UI typing blast.
  7. ���� Model Context Protocol (MCP) Native: Integrates directly into Claude Desktop, Cursor, and Windsurf via JSON-RPC 2.0 stdio.

���� Quickstart (1-Line Integration)

1. Start OmniCache in the Background

# Option A: With Python
git clone https://github.com/13manmayarai-hash/omnicache-proxy.git
cd omnicache-proxy
pip install starlette uvicorn httpx
python3 main.py

# Option B: With Docker Compose
docker-compose up -d

The gateway is now live at http://localhost:8000 with the analytics dashboard at http://localhost:8000/dashboard.


2. Connect Your Application (Zero Code Changes)

Python (OpenAI SDK):

from openai import OpenAI

# Simply route baseURL to OmniCache
client = OpenAI(
    api_key="your-api-key",
    base_url="http://localhost:8000/v1"
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "How do I optimize SQL queries?"}]
)
print(response.choices[0].message.content)

Claude Code (Terminal Assistant):

export ANTHROPIC_BASE_URL="http://localhost:8000/v1"
claude

TypeScript / Node.js:

import OpenAI from "openai";

const openai = new OpenAI({
  apiKey: "your-api-key",
  baseURL: "http://localhost:8000/v1"
});

���� Live Web Telemetry Dashboard

Open http://localhost:8000/dashboard in your browser to inspect live:

  • ���� Total Cost Saved ($ USD) & Tokens Saved (100% Free)
  • ��� P99 Sub-Millisecond Latency
  • ������� PII Masked Items Scrubbed
  • ���� Virtual Key Quotas & Team Spending
  • ������� Live Tag Invalidation & Tenant Purging

���� Complete Documentation Suite

Document Description
������� Architecture Specification Deep technical breakdown of Radix Trees, Intent Gating, SingleFlight, and SSE Replay.
���� API Reference Full REST & Messages API specification, developer headers, and error codes.
���� Quickstart Guide Step-by-step onboarding for Python, Node.js, Claude Code, Cursor, and Docker.
������� Troubleshooting & FAQ The complete "Help Me" diagnostic manual and debugging guide.
���� Research & Product Strategy Competitive teardown, provider prompt caching math, and 24-month roadmap.
���� Security Policy Responsible vulnerability disclosure, encryption, and patch SLAs.
������� Privacy Policy Zero-knowledge architecture, no-retention guarantee, and HIPAA/GDPR disclosures.
���� Terms of Service & SLA 99.99% uptime guarantee, sub-ms latency SLA, and enterprise support tiers.
���� Contributing Guide Development setup, PR workflow, and test verification guidelines.

���� Running the Test Suite

python3 -m unittest discover -s tests
Ran 27 tests in 3.569s
OK (100% Pass Rate)

���� License

OmniCache AI Proxy is open-source software licensed under the MIT License.

Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

omnicache_proxy-2.1.0.tar.gz (53.9 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

omnicache_proxy-2.1.0-py3-none-any.whl (50.5 kB view details)

Uploaded Python 3

File details

Details for the file omnicache_proxy-2.1.0.tar.gz.

File metadata

  • Download URL: omnicache_proxy-2.1.0.tar.gz
  • Upload date:
  • Size: 53.9 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: python-httpx/0.28.1

File hashes

Hashes for omnicache_proxy-2.1.0.tar.gz
Algorithm Hash digest
SHA256 85abaaae7b80fc9e58e6e7fc445259280f12093cd00e31c4e3245d1af9bdca5c
MD5 38ed2d12c17248423d5b784917aaaa81
BLAKE2b-256 daa9f0dde3665b2e10487316c3f5dec45b3e5ccb1c8c69c145d22bea01648cc9

See more details on using hashes here.

File details

Details for the file omnicache_proxy-2.1.0-py3-none-any.whl.

File metadata

File hashes

Hashes for omnicache_proxy-2.1.0-py3-none-any.whl
Algorithm Hash digest
SHA256 adc7f3d96de8dbc318226fe7c2d087d3958282b4f56102d928b960c7f812d4e2
MD5 2a60898382d748f54da85b9bba45f969
BLAKE2b-256 1f2ca66f2d91dc1e4cc9e06292131b0059b6c0b8de5ccf3e55b149d35e9bb7be

See more details on using hashes here.

Release history Release notifications | RSS feed

2.1.3

2 files

2.1.2

2 files

2.1.1

2 files

This release

2.1.0 This release

2 files

2.0.5

2 files

2.0.4

2 files

2.0.3

2 files

2.0.2

2 files

2.0.1

2 files

2.0.0

2 files

Anthropic, PBC Visionary sponsor Bloomberg Visionary sponsor Hudson River Trading Visionary sponsor Meta Visionary sponsor NVIDIA Visionary sponsor Microsoft Sustainability sponsor Depot Continuous Integration AWS Cloud computing and Security Sponsor Datadog Monitoring Fastly CDN Google Download Analytics Sentry Error logging StatusPage Status page