Language	version
Python
Rust

LTP extension For Python

LTP for Rust 对 Python 的绑定，用于提升 LTP 的速度，以及加入传统机器学习算法实现的中文信息处理工具。

自行编译安装

maturin build --release -m python/extension/Cargo.toml --out dist --no-default-features --features="malloc"
# or 针对cpu优化
maturin build --release -m python/extension/Cargo.toml --out dist --no-default-features --features="malloc" -- -C target-cpu=native

features

• 分句
• 任务
  • 中文分词(cws)
    • 对数字、英文、网址、邮件的处理
    • 支持自定义词典
  • 词性标注(pos)
    • 支持自定义词典
  • 命名实体识别(ner)
• 算法
  • 平均感知机(ap)
    • 单线程平均感知机
    • 多线程平均感知机
  • 被动攻击算法(pa)
• 模型量化
• 在线学习
• 增量学习

性能测试

评测环境

• Python 3.10
• MacBook Pro (16-inch, 2019)
• 处理器: 2.6 GHz 六核Intel Core i7
• 内存: 16 GB 2667 MHz DDR4

注: 速度测试文件大小为 33.85 MB / 305041 行

分词

我们选择Jieba、Pkuseg、Thulac等国内代表分词软件与 LTP 做性能比较，根据第二届国际汉语分词测评发布的国际中文分词测评标准，对不同软件进行了速度和准确率测试。

在第二届国际汉语分词测评中，共有四家单位提供的测试语料（Academia Sinica、 City University 、Peking University(PKU) 、Microsoft Research(MSR)）, 在评测提供的资源icwb2-data 中包含了来自这四家单位的训练集（icwb2-data/training）、测试集（icwb2-data/testing）, 以及根据各自分词标准而提供的相应测试集的标准答案（icwb2-data/gold）．在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。

我们在统一测试环境下，对若干流行分词软件和 LTP 进行了测试，使用的模型为各分词软件自带模型。在PKU和MSR测试集评测结果如下：

注：括号内为线程数量

注2：Jieba的词表是在人民日报数据集上统计的

流水线

除了分词以外，我们也测试了 LTP 三个任务（分词、词性标注、命名实体识别）流水线的速度：

注：括号内为线程数量

注2：速度数据在人民日报命名实体测试数据上获得，速度计算方式均为所有任务顺序执行的结果。