Skip to main content

A Python wrapper for Hyperscan

Project description

Hyperscan Python Wrapper

PyPI Version Python Versions License Build Status Documentation

Hyperscan Python Wrapper 是一个基于 Cython 的 Python 封装库,用于 Intel 的 Hyperscan 库。Hyperscan 是一个高性能的正则表达式匹配库,适用于大规模数据流处理。

本项目提供了对 Hyperscan 核心功能的 Python 接口,使开发者能够轻松地在 Python 中使用 Hyperscan 的强大功能。


功能特性

  • 高性能正则表达式匹配:基于 Hyperscan 的高效匹配引擎。
  • 多模式支持:支持同时编译和匹配多个正则表达式。
  • 跨平台支持:支持 Windows、Linux 和 macOS。
  • 简单易用:提供简洁的 Python API,易于集成到现有项目中。

安装

从 PyPI 安装

pip install pyhyperscan
pip install -i https://test.pypi.org/simple/ pyhyperscan

从源码安装

  1. 克隆仓库:

    git clone https://gitee.com/fgc1/regex_engine_py.git
    cd hyperscan_package
    
  2. 安装依赖:

    pip install -r requirements.txt
    
  3. 构建并安装:

    python setup.py build_ext --inplace  # 本地调试用
    pip install .
    python setup.py sdist bdist_wheel    # 打包发布用
    
  4. 发布到python源:

twine upload --repository testpypi dist/* --verbose
twine upload --repository pypi dist/* --verbose

快速开始

以下是一个简单的示例,展示如何使用 pyhyperscan 进行正则表达式匹配。

import pyhyperscan


# 定义回调函数
def match_callback(id, from_, to, flags):
    print(f"Match found: id={id}, from={from_}, to={to}, flags={flags}")


if __name__ == '__main__':
    # 编译正则表达式
    patterns = ["hello", "world"]

    ret, msg = results = pyhyperscan.check_patterns(patterns, [0, 0])
    if not ret:
        print(f"error patterns info: {msg}")
        exit(1)

    flags = [
        pyhyperscan.HS_FLAG_CASELESS_PY | pyhyperscan.HS_FLAG_SOM_LEFTMOST_PY,
        pyhyperscan.HS_FLAG_SOM_LEFTMOST_PY
    ]
    ids = [1, 2]
    db = pyhyperscan.compile_multi_patterns(patterns, flags, ids)
    # 扫描数据
    data = "Hello, world! Hello, Python!"
    # match_callback也可以是类方法
    pyhyperscan.scan_data(db, data, match_callback)

    # 释放数据库
    pyhyperscan.free_database(db)

文档

API 参考

compile_pattern(pattern: bytes, flags: int = 0) -> Database

编译单个正则表达式模式。

  • 参数
    • pattern: 正则表达式模式(字节串)。
    • flags: 匹配标志(如 HS_FLAG_CASELESS)。
  • 返回:编译后的数据库对象。

compile_multi_patterns(patterns: List[bytes], flags: List[int], ids: List[int]) -> Database

编译多个正则表达式模式。

  • 参数
    • patterns: 正则表达式模式列表(字节串)。
    • flags: 匹配标志列表。
    • ids: 模式 ID 列表。
  • 返回:编译后的数据库对象。

scan_data(db: Database, data: bytes, callback: Callable) -> int

扫描数据并调用回调函数处理匹配结果。

  • 参数
    • db: 编译后的数据库对象。
    • data: 待扫描的数据(字节串)。
    • callback: 匹配回调函数。
  • 返回:匹配次数。

free_database(db: Database)

释放数据库对象。

  • 参数
    • db: 编译后的数据库对象。

贡献

欢迎贡献代码!请阅读 贡献指南 了解如何参与项目开发。


许可证

本项目基于 MIT 许可证 发布。


致谢

  • 感谢 Intel Hyperscan 提供的高性能正则表达式匹配库。
  • 感谢 Cython 提供的 Python C 扩展支持。

联系方式

如有任何问题或建议,请联系:


支持

如果你觉得这个项目有用,请给它一个 ⭐️ GitHub Star


相关项目

  • Hyperscan:Intel 的高性能正则表达式匹配库。
  • Cython:Python 的 C 扩展工具。

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

pyhyperscan-0.1.8.tar.gz (1.8 MB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

pyhyperscan-0.1.8-cp38-cp38-win_amd64.whl (1.8 MB view details)

Uploaded CPython 3.8Windows x86-64

File details

Details for the file pyhyperscan-0.1.8.tar.gz.

File metadata

  • Download URL: pyhyperscan-0.1.8.tar.gz
  • Upload date:
  • Size: 1.8 MB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.1.0 CPython/3.8.6

File hashes

Hashes for pyhyperscan-0.1.8.tar.gz
Algorithm Hash digest
SHA256 24b405b65a3c0d85ed72c080c548ad9e4aef9358b5ac8dc14844cbca261aabcb
MD5 dafb8ef45e80ecbff4aaaec76f47ed5b
BLAKE2b-256 79ad5f096e560b5f680e4353b9ae3075f55b4e34ce48a62ebe82ca2349d68b05

See more details on using hashes here.

File details

Details for the file pyhyperscan-0.1.8-cp38-cp38-win_amd64.whl.

File metadata

  • Download URL: pyhyperscan-0.1.8-cp38-cp38-win_amd64.whl
  • Upload date:
  • Size: 1.8 MB
  • Tags: CPython 3.8, Windows x86-64
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/6.1.0 CPython/3.8.6

File hashes

Hashes for pyhyperscan-0.1.8-cp38-cp38-win_amd64.whl
Algorithm Hash digest
SHA256 a5319fc98772b65ccc486cb54220df9572e7a7e11a60c70f1e1a24f1b8e7b893
MD5 6ad3442835e0a84c38582794b09c9db9
BLAKE2b-256 2a61a8cd8e498d03ce69cca51515ad02b348c319f4d739253bcb906209a2d61d

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page