proces 0.1.1

text preprocess.

Proces

🐨 文本预处理。

1 安装

⚠️ 注意：

1. 本地安装仅支持 Python 的 3.6 以上版本；
2. 尽可能使用 proces 的最新版本。

使用 pip 安装

pip install proces -U

从代码库安装

git clone https://github.com/Ailln/proces.git
cd proces && python setup.py install

2 使用

from proces import preprocess

# 默认会按照顺序执行，删除空白字符、大写转小写、繁体转简体、全角转半角
result = preprocess("Today, 你 幹 什 麼 ！")
# result: today,你干什么!

# 配置 pipeline，比如只去除空白字符
result = preprocess("Today, 你 幹 什 麼 ！", pipelines=["delete_blank_character"])
# result: Today,你幹什麼！

# 单独使用子方法
from proces import delete_blank_character
from proces import uppercase_to_lowercase
from proces import traditional_to_simplified
from proces import full_angle_to_half_angle

# 删除空白字符
result = delete_blank_character("空 白 字 符")
# result: 空白字符

# 大写转小写
result = uppercase_to_lowercase("UP to low")
# result: up to low

# 繁体转简体
result = traditional_to_simplified("我幹什麼不干你事")
# result: 我干什么不干你事

# 全角转半角
result = full_angle_to_half_angle("你好！")
# result: 你好!

3 TODO

• preprocess test

4 许可