Rust Extension For Language Technology Platform(Python).
Project description
Language | version |
---|---|
Python | |
Rust |
LTP extension For Python
LTP for Rust 对 Python 的绑定,用于提升 LTP 的速度,以及加入传统机器学习算法实现的中文信息处理工具。
method | ltp 3.0(c++) | ap(1) | ap(8) | pa | pa-i(0.5) | pa-ii(0.5) |
---|---|---|---|---|---|---|
cws | 97.83 | 97.93 | 97.67 | 97.90 | 97.90 | 97.93 |
pos | 98.35 | 98.41 | 98.30 | 98.39 | 98.39 | 98.38 |
ner | 94.17 | 94.28 | 93.42 | 94.02 | 94.06 | 93.95 |
features
- 分句
- 任务
- 中文分词(cws)
- 对数字、英文、网址、邮件的处理
- 支持自定义词典
- 词性标注(pos)
- 支持自定义词典
- 命名实体识别(ner)
- 中文分词(cws)
- 算法
- 平均感知机(ap)
- 单线程平均感知机
- 多线程平均感知机
- 被动攻击算法(pa)
- 平均感知机(ap)
- 模型量化
- 在线学习
- 增量学习
性能测试
评测环境
- Python 3.10
- MacBook Pro (16-inch, 2019)
- 处理器: 2.6 GHz 六核Intel Core i7
- 内存: 16 GB 2667 MHz DDR4
注: 速度测试文件大小为 33.85 MB / 305041 行
分词
我们选择Jieba、Pkuseg、Thulac等国内代表分词软件与 LTP 做性能比较,根据第二届国际汉语分词测评发布的国际中文分词测评标准,对不同软件进行了速度和准确率测试。
在第二届国际汉语分词测评中,共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University(PKU) 、Microsoft Research(MSR)), 在评测提供的资源icwb2-data 中包含了来自这四家单位的训练集(icwb2-data/training)、测试集(icwb2-data/testing), 以及根据各自分词标准而提供的相应测试集的标准答案(icwb2-data/gold).在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。
我们在统一测试环境下,对若干流行分词软件和 LTP 进行了测试,使用的模型为各分词软件自带模型。在PKU和MSR测试集评测结果如下:
Algorithm | Speed(KB/s) | PKU(F1) | MSR(F1) |
---|---|---|---|
Jieba | 982.49 | 81.8 | 81.3 |
Pkuseg | 109.72 | 93.4 | 87.3 |
Thulac | 48.13 | 94.0 | 87.9 |
Thulac[Fast] | 1133.21 | 同上 | 同上 |
LTP 3(pyltp) | 451.20 | 95.3 | 88.3 |
LTP legacy(1) | 1603.63 | 95.2 | 87.7 |
LTP legacy(2) | 2869.42 | 同上 | 同上 |
LTP legacy(4) | 4949.38 | 同上 | 同上 |
LTP legacy(8) | 6803.88 | 同上 | 同上 |
LTP legacy(16) | 7745.16 | 同上 | 同上 |
注:括号内为线程数量
注2:Jieba的词表是在人民日报数据集上统计的
流水线
除了分词以外,我们也测试了 LTP 三个任务(分词、词性标注、命名实体识别)流水线的速度:
Algorithm | Speed(KB/s) |
---|---|
LTP 3(pyltp) | 153.10 |
LTP legacy(1) | 508.74 |
LTP legacy(2) | 899.25 |
LTP legacy(4) | 1598.03 |
LTP legacy(8) | 2267.48 |
LTP legacy(16) | 2452.34 |
注:括号内为线程数量
注2:速度数据在人民日报命名实体测试数据上获得,速度计算方式均为所有任务顺序执行的结果。
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Built Distributions
Hashes for ltp_extension-0.1.9-cp37-abi3-win_amd64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | a52a0a0c9d1ac39c9ee66dce2e6ce8f6006c74a282ced7f65044f2fed4ed6daf |
|
MD5 | a1234064df0b56401169cd7befc97a79 |
|
BLAKE2b-256 | 3a8e1251a5a1595b0484cac91dd7352393b48cbab8ae98dd35ef8269248d9b5e |
Hashes for ltp_extension-0.1.9-cp37-abi3-win32.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 8bf750bbeb4579c4ae1f957c3e2540b78c06943c85c91ce89c55d0eea60111e9 |
|
MD5 | 958a2b687ce091aa73f32ddd98428c1a |
|
BLAKE2b-256 | 639967515b1a619f92b6968fc1d5c5aaffbd7b62e366552d4fa979265537a5ad |
Hashes for ltp_extension-0.1.9-cp37-abi3-musllinux_1_2_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 7d4425be28ab3a7eef78e63882827ca505c4f9797b2d95a32d8e5bc28dbbecb2 |
|
MD5 | 4d8462b504c533d1f7724fd8369db66d |
|
BLAKE2b-256 | 158b5b89aa3a37b7f6953fd63803db3047609c055d35d42e3c5f4c73eb3e84bc |
Hashes for ltp_extension-0.1.9-cp37-abi3-musllinux_1_2_i686.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | a4c2994691d29612ac37fa413030259dde224bf2fe95cda69f461af6f3a82493 |
|
MD5 | c9b2b9736cd698a280b9b347ab1f573c |
|
BLAKE2b-256 | 86c8e930e6bc103c3acfc4cb3db8e36d37124e94fb3f4bc98509eab68b3c28f2 |
Hashes for ltp_extension-0.1.9-cp37-abi3-musllinux_1_2_armv7l.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 9cc5d83dec44dac7cafe80012d4821d90405c2a60f08dc7606cce35b7ceb1967 |
|
MD5 | 1ae03e1406ea2339f2d138f4bdfd1aa0 |
|
BLAKE2b-256 | 58ef6a9da19782148cd80191befd4383f772ae1ef6d9e847a22baaceb80f8698 |
Hashes for ltp_extension-0.1.9-cp37-abi3-musllinux_1_2_aarch64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 910a50794c597d229cd95f175236773229230c3d547b25c5edfcb5f01da7dcb5 |
|
MD5 | 6eddb0518d3663cd3273784f5a9f06ac |
|
BLAKE2b-256 | 0cf01588573092b55573af8777440706e0da8416a9e018b7952a66653360a2e2 |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | f48ca53a03a85d6b2eae23772978743049a910cbbd5578a79a0af2126a875b17 |
|
MD5 | 49f0e80425c81dd5f0611ead21fdbc04 |
|
BLAKE2b-256 | 5894bb4ca6632cc1d37ffcf2462da934359bbf142df1614aaf25e89cb6f7d707 |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_s390x.manylinux2014_s390x.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 7fedb7c4ab657f84758d6321175bc56c4662187cc0bf45f25d70b7f0ce7b552d |
|
MD5 | 569e6c3096f412f45df6df7e72cac09e |
|
BLAKE2b-256 | b71c931fbb4a594941036aec016a86f357fb68bc1e2bea8627809f61c195e861 |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_ppc64le.manylinux2014_ppc64le.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 86e6dab60e79b66ce6531d3344cdf00918b5ac65f269772cefa76d1312bbaf75 |
|
MD5 | d309ce7a782ef95fc4a47c0e686348ff |
|
BLAKE2b-256 | fab357d6e642a8eb069d0576b34e0e82b869842234180b15f9fd275a9994a26c |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_ppc64.manylinux2014_ppc64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | de4c83130432db655e98202aa3dc28cdac04048162124b03427c6e487cb82589 |
|
MD5 | 5070f2980026c255986923f4c820bb36 |
|
BLAKE2b-256 | b98888058c4b6ce0f6362b5466058e92fa53ac0e5d0784c5ce2b7eef81cbd1be |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_armv7l.manylinux2014_armv7l.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | e41cf6389ce9a90bb8e50ec635c16ac913ef4def2f85d590090157b87c93c77c |
|
MD5 | d765450e2dbc30c0a4b5dd26045df1fe |
|
BLAKE2b-256 | b8582f0ed59669016c35a6feab134249b1802488bc9c00e1a46393675074aee2 |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 35d23b418f707783f3f4a5b9232c11fcdb69ee0a776683738c0c635189047198 |
|
MD5 | 150d2e8031b97efbe4a0db0f40b634f2 |
|
BLAKE2b-256 | 3e0386721ce1d3b6d518f739391d70fb62c8c7039c427a49d48a670e16eaf663 |
Hashes for ltp_extension-0.1.9-cp37-abi3-manylinux_2_12_i686.manylinux2010_i686.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | c86c059976f1e9cf300d7b0ffddfe8bcb92e1e0b9a0f16f84f3f12c282db7402 |
|
MD5 | 198da46e9f6c09cf41855de07fa80c7d |
|
BLAKE2b-256 | 05dcc89fc1e4b59899ff40d9071b26a0023617b564675039d252b05905427ff8 |
Hashes for ltp_extension-0.1.9-cp37-abi3-macosx_10_9_x86_64.macosx_11_0_arm64.macosx_10_9_universal2.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 6a32fc1a5d926de8a22dd1547f4b106343ce4d520b07537275c34889f6f559e6 |
|
MD5 | a619f367a34f33e42d4c8be7370f9c9c |
|
BLAKE2b-256 | 8a4b1bf976bc5bcbe64c8bb016bc680135b94549fcdc894869c22e1ef04f1e92 |
Hashes for ltp_extension-0.1.9-cp37-abi3-macosx_10_7_x86_64.whl
Algorithm | Hash digest | |
---|---|---|
SHA256 | 02811ec5ae2ed9528bea512e60d20379b0feae53614840d287408be5e96660d7 |
|
MD5 | aaaf45299c49a9b02cbc374efd73b520 |
|
BLAKE2b-256 | 982d4fa04b6bac23b98d9836dbae7584c54e3814d65567a897c61c3b6b3fd95e |