Skip to main content

dify's rag patch module

Project description

Dify-RAG

高效模块化的 RAG 包,可以快速替换 Dify 中原有的默认模块,大幅提升 Dify 的 RAG 效果。作为通用的基础包,也可以用于其他开源 RAG 服务。

安装

pip install dify-rag

为了在 Dify 项目中使用,可以在 api/pyproject.toml 中添加 dify-rag 依赖,之后更新对应的 lock 文件,在不同版本的 Dify 中存在一些差异:

  • poetry 1.x 版本,需要调用 poetry lock --no-update 更新 lock 文件依赖
  • poetry 2.x 版本,需要调用 poetry lock 更新 lock 文件依赖
  • uv 版本,需要调用 uv lock 更新 lock 文件依赖

使用

目前实现的模块是直接可以插拔放入 Dify 项目中的,只需要在 Dify 项目中替换掉相关模块即可。下面以 html 解析为例:

api/core/rag/extractor/extract_processor.py 中将原先使用 Dify 内置的 HtmlExtractor 切换为 Dify-RAG 中的 HtmlExtractor 即可。

具体需要将原有的 from core.rag.extractor.html_extractor import HtmlExtractor 替换为 from dify_rag.extractor.html_extractor import HtmlExtractor 即可

其他模块的替换也是类似的,可以根据自己的需要自行替换增强。

支持的文档格式

格式 结构化解析 表格解析
html 支持 支持独立拆分,支持转换 markdown 格式,支持按行切分
md 支持 支持独立拆分,支持 markdown 格式,支持按行切分
docx 支持 支持独立拆分,支持转换 markdown 格式,支持按行切分
pdf 部分支持,需本身有目录信息 不支持
epub 支持 支持独立拆分,支持转换 markdown 格式,支持按行切分
xlsx 支持 支持独立拆分,支持转换 markdown 格式,支持按行切分
csv 支持 支持独立拆分,支持转换 markdown 格式,支持按行切分

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

dify_rag-0.1.9.tar.gz (49.5 kB view details)

Uploaded Source

Built Distribution

If you're not sure about the file name format, learn more about wheel file names.

dify_rag-0.1.9-py3-none-any.whl (65.1 kB view details)

Uploaded Python 3

File details

Details for the file dify_rag-0.1.9.tar.gz.

File metadata

  • Download URL: dify_rag-0.1.9.tar.gz
  • Upload date:
  • Size: 49.5 kB
  • Tags: Source
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/5.1.1 CPython/3.10.9

File hashes

Hashes for dify_rag-0.1.9.tar.gz
Algorithm Hash digest
SHA256 6cdf8595c14ab728042c1173c72092af4d53d0ab5f09404e19ec71cd5d90bfa0
MD5 42fe1506d193cdec50faf5c2a1c64df5
BLAKE2b-256 31f0a61e769f3cee75265733b457656cabe60846201f4c8de5a9b4b3937b9bc3

See more details on using hashes here.

File details

Details for the file dify_rag-0.1.9-py3-none-any.whl.

File metadata

  • Download URL: dify_rag-0.1.9-py3-none-any.whl
  • Upload date:
  • Size: 65.1 kB
  • Tags: Python 3
  • Uploaded using Trusted Publishing? No
  • Uploaded via: twine/5.1.1 CPython/3.10.9

File hashes

Hashes for dify_rag-0.1.9-py3-none-any.whl
Algorithm Hash digest
SHA256 e64cc8e8a26652c9815c100b04e9d20f271a4994bbe7b12a718d0c8d63c93dcb
MD5 282ace295d6628128c15ae100f7262f1
BLAKE2b-256 28bb8647a1ae0a048d70831afdde0cad3ebb65f8b5503cee86621e4e9ad40e4b

See more details on using hashes here.

Supported by

AWS Cloud computing and Security Sponsor Datadog Monitoring Depot Continuous Integration Fastly CDN Google Download Analytics Pingdom Monitoring Sentry Error logging StatusPage Status page