Rust Extension For Language Technology Platform(Python).
Project description
Language | version |
---|---|
Python | |
Rust |
LTP extension For Python
LTP for Rust 对 Python 的绑定,用于提升 LTP 的速度,以及加入传统机器学习算法实现的中文信息处理工具。
method | ltp 3.0(c++) | ap(1) | ap(8) | pa | pa-i(0.5) | pa-ii(0.5) |
---|---|---|---|---|---|---|
cws | 97.83 | 97.93 | 97.67 | 97.90 | 97.90 | 97.93 |
pos | 98.35 | 98.41 | 98.30 | 98.39 | 98.39 | 98.38 |
ner | 94.17 | 94.28 | 93.42 | 94.02 | 94.06 | 93.95 |
features
- 分句
- 任务
- 中文分词(cws)
- 对数字、英文、网址、邮件的处理
- 支持自定义词典
- 词性标注(pos)
- 支持自定义词典
- 命名实体识别(ner)
- 中文分词(cws)
- 算法
- 平均感知机(ap)
- 单线程平均感知机
- 多线程平均感知机
- 被动攻击算法(pa)
- 平均感知机(ap)
- 模型量化
- 在线学习
- 增量学习
性能测试
评测环境
- Python 3.10
- MacBook Pro (16-inch, 2019)
- 处理器: 2.6 GHz 六核Intel Core i7
- 内存: 16 GB 2667 MHz DDR4
注: 速度测试文件大小为 33.85 MB / 305041 行
分词
我们选择Jieba、Pkuseg、Thulac等国内代表分词软件与 LTP 做性能比较,根据第二届国际汉语分词测评发布的国际中文分词测评标准,对不同软件进行了速度和准确率测试。
在第二届国际汉语分词测评中,共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University(PKU) 、Microsoft Research(MSR)), 在评测提供的资源icwb2-data 中包含了来自这四家单位的训练集(icwb2-data/training)、测试集(icwb2-data/testing), 以及根据各自分词标准而提供的相应测试集的标准答案(icwb2-data/gold).在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。
我们在统一测试环境下,对若干流行分词软件和 LTP 进行了测试,使用的模型为各分词软件自带模型。在PKU和MSR测试集评测结果如下:
Algorithm | Speed(KB/s) | PKU(F1) | MSR(F1) |
---|---|---|---|
Jieba | 982.49 | 81.8 | 81.3 |
Pkuseg | 109.72 | 93.4 | 87.3 |
Thulac | 48.13 | 94.0 | 87.9 |
Thulac[Fast] | 1133.21 | 同上 | 同上 |
LTP 3(pyltp) | 451.20 | 95.3 | 88.3 |
LTP legacy(1) | 1603.63 | 95.2 | 87.7 |
LTP legacy(2) | 2869.42 | 同上 | 同上 |
LTP legacy(4) | 4949.38 | 同上 | 同上 |
LTP legacy(8) | 6803.88 | 同上 | 同上 |
LTP legacy(16) | 7745.16 | 同上 | 同上 |
注:括号内为线程数量
注2:Jieba的词表是在人民日报数据集上统计的
流水线
除了分词以外,我们也测试了 LTP 三个任务(分词、词性标注、命名实体识别)流水线的速度:
Algorithm | Speed(KB/s) |
---|---|
LTP 3(pyltp) | 153.10 |
LTP legacy(1) | 508.74 |
LTP legacy(2) | 899.25 |
LTP legacy(4) | 1598.03 |
LTP legacy(8) | 2267.48 |
LTP legacy(16) | 2452.34 |
注:括号内为线程数量
注2:速度数据在人民日报命名实体测试数据上获得,速度计算方式均为所有任务顺序执行的结果。
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distributions
Hashes for ltp_extension-0.1.8-cp37-abi3-win_amd64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | b654621469c5ae46a1f035448d23a264b93bf2a743ea2e04dfd9f395288f05da |
|
MD5 | 6c1d66d97ee0b5775991542d83e58561 |
|
BLAKE2b-256 | 2773087d89096d99b4db31ab7869aa869cad81920db847cc55153b7eaee25e8f |
Hashes for ltp_extension-0.1.8-cp37-abi3-win32.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | d530b4199cd1f9db42597e8c4f4e46750e1fffa3067c8c28806bcb3a615fbb77 |
|
MD5 | 5df44d2b2bf7bb9e5321d6f8b8de4340 |
|
BLAKE2b-256 | e2ca6943d13277599a659add723968fcc9d1b5fd816f7092ed0a9a655771d415 |
Hashes for ltp_extension-0.1.8-cp37-abi3-musllinux_1_2_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 813c4e66d9c5ddf637c8e1ee4fa3e2a6841c9c1736eba722b60638f011070b55 |
|
MD5 | f3eae8e6fb348355dd501f00e211e497 |
|
BLAKE2b-256 | 7dfb27d77d49d04a114f7dc116651421f392432d77c8e73aae9802a8f049f04c |
Hashes for ltp_extension-0.1.8-cp37-abi3-musllinux_1_2_i686.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | ad4a9182aaed07b8fbf12995d4e8fc56e6bd6f4600347b31f88f1ee53c627c07 |
|
MD5 | 48a8b0daab2add413d71b446c162f61d |
|
BLAKE2b-256 | caec055fcc0f06229296b99d28a56a0cf4edb69de6de71565bfc3d5f257d10ca |
Hashes for ltp_extension-0.1.8-cp37-abi3-musllinux_1_2_armv7l.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | de09a45d9c9e65bdd1a108beceb1b358f283b0b6bd18b57e07b0029e3134cf0a |
|
MD5 | 4b47ee1129e6620a161d69a39aba9a9e |
|
BLAKE2b-256 | 8a581bdedcb2f5a7b8b06baa7d55da630932dcc80cc7b93bad10daff6f6af7ac |
Hashes for ltp_extension-0.1.8-cp37-abi3-musllinux_1_2_aarch64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | fe5a888773a47146dfa6d50f12564271ade5e9fc36ab159050911dc3080cd018 |
|
MD5 | 2ed9fbd33539c71d0a52d0fd2d6c7636 |
|
BLAKE2b-256 | 4d1898a049589f46b46d62aaad13434cfbefdb4560388064a7930623b3f83070 |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 27abc5e8db5fc48baf1d6d7c54d58113590aaa81d058fcbb2dc328e3fc430d91 |
|
MD5 | 7877b3f7ff82d588b0aa91ba41375354 |
|
BLAKE2b-256 | 5ad78674d7c8eb4b9dc16534ec27608733cfdcd41385c72f07425e774d6f1d6e |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_s390x.manylinux2014_s390x.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | bcebeddc0ee9b987a992f2a060715f2f2bdfd43483c6ee1cdcbb7b81a6ab94fc |
|
MD5 | 016e950c89bca4578c5024e91eccf636 |
|
BLAKE2b-256 | 2c71661b723e1eb7a73a4c354f46cd06103c04cf8520183cac57491885c91ec8 |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_ppc64le.manylinux2014_ppc64le.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | e57d0aaf7247ed4dc4d0108112faeee5da3df541fdbf19c8701b31100e5243bf |
|
MD5 | 0ae96e54fd44dd82b1e10c11bb09e7e3 |
|
BLAKE2b-256 | 46450b5d854437e4654ea2537b03cad777f3520811c79045e56af4ba3bf6eb41 |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_ppc64.manylinux2014_ppc64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 802a213f220560aef4bfa0a9dc4bc3429cbc451f8fa40dad978a40a1c16e6580 |
|
MD5 | 3632af9f3f493d2b97a1d58aa0e75b23 |
|
BLAKE2b-256 | 98089df7963e722bd6f1c4380a27a2d6573207a84a72607dc6f8e753ca6606f7 |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_armv7l.manylinux2014_armv7l.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8f36bc2ec8b2711b0f0ad3ac20cde5deb0410918bc0a3f70922ff15a6423fdb6 |
|
MD5 | ab62de77546a93c8f5d2b64113908842 |
|
BLAKE2b-256 | 339bf5a49ee4922657661c3a008c6fb2fdff28f28c46bcf6ca77bdda996e4343 |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | c3bcee740b68e31a352b17f1c0697249243689eafeac95dc3701b7fb1c21402b |
|
MD5 | f367f6b7bc1b11fdb2d64eba6cf9039f |
|
BLAKE2b-256 | afa78a127db16cb498006565fe0f2198fec666d1f3385fab42759c06418e2daf |
Hashes for ltp_extension-0.1.8-cp37-abi3-manylinux_2_12_i686.manylinux2010_i686.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | fe0af571c124854c53e3fc1ff2e89e8f2c1de9c1b724ac0a9f5604c6135ce2c7 |
|
MD5 | 1dbecfe2c23392c383c8be5620af55d4 |
|
BLAKE2b-256 | 7518e40528ae17d2d81c598c4ef2d95fdeba521cb444f4e10426f214bf1a1e21 |
Hashes for ltp_extension-0.1.8-cp37-abi3-macosx_10_9_x86_64.macosx_11_0_arm64.macosx_10_9_universal2.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | f5f28883311e98ab5c2a9779879f91889ed2031e39ef996a37a77ee2d3236cdb |
|
MD5 | 5f20c9839534ca05dd68cd6f7e9ef896 |
|
BLAKE2b-256 | 5aac3711c2f8c0ea53d554eb0e58897bf825dddd5354d6236ce4c23a1c80f50b |
Hashes for ltp_extension-0.1.8-cp37-abi3-macosx_10_7_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 63b7d9b369dca18d9e0b5e7b55cd18ecacb4d94c86667fa14085d8adfbfa2ef6 |
|
MD5 | 7c97ba8b29c125d75f74ff64e847ce36 |
|
BLAKE2b-256 | 94bb9a3b0e48f4b3023061ff1f8ec41603fa1edf95e806caac4105f28ef13fe5 |