Skip to main content

[DEPRECATED] Use truthprobe-mcp instead. Install: npm install -g truthprobe-mcp

Project description

TruthProbe — AI API 信任审计 SDK

PyPI version Python 3.9+ License MIT


检测你的 AI 中转站有没有偷换模型,3 行代码搞定。

你付了 GPT-4o 的钱,中转站真的在跑 GPT-4o 吗?TruthProbe 自动监测每一次 API 请求,通过文本复杂度、响应时间、模型标识等多维信号判断模型真实性。


Quick Start

pip install truthprobe
import truthprobe

truthprobe.patch()  # 一行代码,自动审计所有 OpenAI 兼容请求

# 之后正常使用 OpenAI SDK 即可
from openai import OpenAI
client = OpenAI(api_key="sk-xxx", base_url="https://your-relay.com/v1")
response = client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[{"role": "user", "content": "Hello"}]
)
# 控制台自动输出:
# ✓ ¥0.032 │ claude-sonnet-4-6 │ 1.2s │ trust: 92

功能列表

功能 说明
模型审计 自动检测中转站是否偷换模型(如用 GPT-4o-mini 冒充 GPT-4o)
余额查询 聚合查看多个中转站账户余额,低余额自动告警
信任评分 每次请求实时打分,累计统计可疑率
CLI 报告 命令行一键生成审计报告
多中转站适配 支持所有 OpenAI 兼容 API 的中转站
静默模式 不干扰业务输出,后台默默记录

多 Provider 配置

import truthprobe

truthprobe.init(
    providers=[
        {"name": "RelayA", "base_url": "https://relay-a.com/v1", "key": "sk-aaa"},
        {"name": "RelayB", "base_url": "https://relay-b.com/v1", "key": "sk-bbb"},
    ],
    alert_balance_threshold=50,  # 余额低于 ¥50 时告警
    currency_symbol="¥",
)

truthprobe.patch()

CLI 使用

# 查看完整审计报告
truthprobe report

# 查看本周报告
truthprobe report --week

# 查询所有 provider 余额
truthprobe balance

# 查看当前信任评分
truthprobe score

# 帮助
truthprobe --help

示例输出:

TruthProbe CLI — AI API Trust & Cost Transparency

Commands:
    truthprobe report          Full audit report (today)
    truthprobe report --week   Weekly report
    truthprobe balance         Check provider balances
    truthprobe score           Current trust score

Options:
    --lang zh|en               Set language
    --quiet                    Suppress output

工作原理

TruthProbe 通过 3 维信号交叉验证 判断模型真实性:

信号 权重 检测逻辑
文本复杂度 45% 词汇丰富度、平均句长、推理深度(对冲语、多角度论述、自我意识表达)
响应时间 40% TTFB + tokens/sec 是否符合该模型的正常范围
模型标识 15% 返回的 model 字段是否与请求一致

每个模型(Claude Opus/Sonnet/Haiku, GPT-4o/4o-mini, DeepSeek 等)都有独立的基线参数。当综合评分低于阈值时,标记为可疑请求。

不夸张说明:单次检测存在误判可能,TruthProbe 的价值在于多次请求的统计趋势。如果你的 provider 持续触发告警(可疑率 >30%),那大概率有问题。


静默模式

truthprobe.patch(quiet=True)     # 完全静默,只记录不输出
truthprobe.patch(verbose=False)  # 不输出每次请求行,但告警仍然触发

排行榜

我们持续跟踪主流中转站的信任评分和性价比数据:

truthprobe.com/ranking

看看哪些中转站老实、哪些在偷换模型。


Pro 版本

功能 Free Pro
本地审计检测 Yes Yes
CLI 报告 Yes Yes
云端历史记录 - Yes
多设备同步 - Yes
自动定时报告 - Yes
API 调用量分析 - Yes
团队协作 - Yes

详情: truthprobe.com/pricing


Contributing

欢迎贡献代码。

git clone https://github.com/LuisHF1998/Luisproject.git
cd Luisproject/sdk
pip install -e .

提 PR 前请确保代码能通过基本测试。有问题先开 issue 讨论。


License

MIT

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

truthprobe-0.3.1.tar.gz (17.9 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

truthprobe-0.3.1-py3-none-any.whl (22.3 kB view details)

Uploaded Python 3

File details

Details for the file truthprobe-0.3.1.tar.gz.

File metadata

  • Download URL: truthprobe-0.3.1.tar.gz
  • Upload date:
  • Size: 17.9 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.2.0 CPython/3.9.6

File hashes

Hashes for truthprobe-0.3.1.tar.gz
Algorithm Hash digest
SHA256 2b19f069faf4e33b34724f1580be5ed84802d9c96929e5970653573f0e32326a
MD5 53d493c20d6ea3f9c3425bb4261a3ae2
BLAKE2b-256 2663ff4ad025b62c6c39335396b80b0bb8fe700c32df0a3f35c41818a38b0053

See more details on using hashes here.

File details

Details for the file truthprobe-0.3.1-py3-none-any.whl.

File metadata

  • Download URL: truthprobe-0.3.1-py3-none-any.whl
  • Upload date:
  • Size: 22.3 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.2.0 CPython/3.9.6

File hashes

Hashes for truthprobe-0.3.1-py3-none-any.whl
Algorithm Hash digest
SHA256 f5d017df5f8b858044ce1b304466eaa80d4f10a19e3483f2babd01e144840434
MD5 9d9f9fbc2677bf459177c731ac31731c
BLAKE2b-256 91a7658a25989d7697de185b119cc576a309b7ee951beca7666895de44d71720

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page