vocab-coverage 0.6

语言模型中文识字率分析

语言模型中文识字率分析

• 语言模型中文识字率分析
  • 项目介绍
  • 命令行工具 vocab-coverage 使用指南
    • 安装
    • 使用
      • charset 子命令
      • coverage 子命令
      • embedding 子命令
  • 分析结果
    • BERT 类模型
    • T5 模型及其衍生的模型对比
    • bert-base-chinese 模型及其衍生的模型对比
    • ERNIE 模型及其衍生的模型对比
    • paraphrase-multilingual-MiniLM-L12-v2 模型及其衍生的模型对比
    • xlm-roberta-base 模型及其微调后的模型对比
    • LLaMA 及衍生模型
    • 英文大语言模型
    • 中文大语言模型
    • OpenAI 提供的模型
    • 其他模型

项目介绍

本项目的目的是为了调查各个语言模型的中文识字率的情况，以此可以作为后续模型评估分析的参考。

为了分析模型的中文识字率，我们使用三个常用的字符集，总共21267个汉字。

• 中华人民共和国教育部于2013年颁布的《通用规范汉字表》，在该字表中，共收录了 8105 个汉字，其中一级字表（常用字集）3500个，二级字表3000个，三级字表1605个。字表内容从中文百科中获取。
• 中華民國教育部頒布的《常用國字標準字體表》 中的甲表和乙表。甲表收录常用字4808个，其中有1749个汉字不在《通用规范汉字表》中；乙表收录次常用字6343个，其中有4503个汉字不在《通用规范汉字表》中。统计汉字识字率时，将只针对增加的汉字进行统计，已经在《通用规范汉字表》中的汉字不再重复统计。
• 《Unicode中日韩统一表意文字》，为汉字在 Unicode 中的基本区段。在 Unicode 14.0 时，收录了 20992 个汉字，占据码位 U+4E00-U+9FFF。其中有6910个汉字，既不在《通用规范汉字表》中，也不在《常用國字標準字體表》中。统计汉字识字率时，将只针对增加的汉字进行统计，已经在《通用规范汉字表》和《常用國字標準字體表》中的汉字不在重复统计。汉字在 Unicode 中还有其它区段，总共将近9万汉字，但由于其它汉字不常使用，这里暂不纳入统计范围。

对于语言模型是否认知某个汉字的判断，我们通过对应语言模型所使用的 Tokenizer 是否可以对该汉字进行 encode 来判断。

• 模型不认识某汉字的判定为：
  • 模型对该汉字的编码结果为空；
  • 模型对该汉字的编码结果为 unk_token_id；
• 模型认识某汉字的判定为：
  • 模型对该汉字的编码结果长度为1；
• 如果编码结果长度大于1，这有可能是因为使用了 BBPE 的原因，一个不常出现的汉字被拆分成了多个 token。由于汉字被以UTF-8的形式编码，拆散该编码并不能体现汉字语义，因此，一个汉字被打散的编码越多，我们认为该模型对该汉字的认知程度可能越低。所以，对于编码结果长度大于1的情况，我们认为该模型对该汉字的认知程度为 1 / len(encode_result)，用以控制半透明程度。在识字率的计数中，将计数为 0。

在进行判断前，会先行去除前缀后缀的特殊token。

命令行工具 vocab-coverage 使用指南

vocab-coverage 是一个命令行工具，用于分析模型的汉字识字率。

安装

pip install vocab-coverage

由于图中有汉字，因此需要中文字体，这里我使用了 Noto Sans CJK 字体用于中文，以及 Anonymous Pro字体，建议安装该字体。

Linux

如 Ubuntu，可以通过以下命令安装：

sudo apt install fonts-noto-cjk fonts-anonymous-pro

Mac

如 MacOS，可以通过以下命令安装：

brew install font-noto-sans-cjk font-noto-serif-cjk font-anonymous-pro

Windows

如 Windows，可以通过以下命令安装：

choco install noto anonymouspro

使用

vocab-coverage 它有三个子命令：charset、 coverage 和 embedding。

charset 子命令

charset 子命令用于生成用以统计识字率的字表文件。

$ vocab-coverage charset --help
usage: vocab-coverage charset [-h] [--charset_file CHARSET_FILE]

options:
  -h, --help            show this help message and exit
  --charset_file CHARSET_FILE
                        用以统计识字率的字表文件（默认：charset.json）

coverage 子命令

coverage 子命令用于分析模型的汉字识字率。

$ vocab-coverage coverage --help
usage: vocab-coverage coverage [-h] [--model_name MODEL_NAME] [--charset_file CHARSET_FILE] [--output_dir OUTPUT_DIR] [--debug]

options:
  -h, --help            show this help message and exit
  --model_name MODEL_NAME
                        模型在 HuggingFace Hub 上的名称（默认为 shibing624/text2vec-base-chinese）
  --charset_file CHARSET_FILE
                        用以统计识字率的字表文件（默认为内置字符集文件）
  --output_dir OUTPUT_DIR
                        生成的图像文件的输出目录（默认为 images）
  --debug               是否打印调试信息

• --model_name：模型在 HuggingFace Hub 上的名称。默认为 shibing624/text2vec-base-chinese。
• --charset_file：用以统计识字率的字表文件。默认为 charset.json。
• --output_dir：生成的图像文件的输出目录。默认为 images。
• --debug：是否打印调试信息。

示例

$ vocab-coverage coverage --model_name=THUDM/chatglm-6b
检查模型 THUDM/chatglm-6b 的字表
字表《通用规范汉字表》一级汉字：3499/3500 (99.97%)
字表《通用规范汉字表》二级汉字：1724/3000 (57.47%)
字表《通用规范汉字表》三级汉字：48/1605 (2.99%)
字表《常用國字標準字體表》甲表(增)：185/1749 (10.58%)
字表《常用國字標準字體表》乙表(增)：14/4503 (0.31%)
字表《Unicode中日韩统一表意文字》(增)：115/6910 (1.66%)

除了上述输出外，还会在 images 目录下生成一个图像文件，images/coverage/THUDM_chatglm-6b.coverage.png，为可视化的分析结果。

embedding 子命令

embedding 子命令用于分析模型词向量在空间中的分布情况。

usage: main.py embedding [-h] [--model_name MODEL_NAME] [--charset_file CHARSET_FILE] [--output_dir OUTPUT_DIR] [--is_detail] [--debug]

options:
  -h, --help            show this help message and exit
  --model_name MODEL_NAME
                        模型在 HuggingFace Hub 上的名称（默认为 shibing624/text2vec-base-chinese）
  --charset_file CHARSET_FILE
                        用以统计识字率的字表文件（默认为内置字符集文件）
  --output_dir OUTPUT_DIR
                        生成的图像文件的输出目录（默认为 images）
  --is_detail           是否对汉字进行详细分类（默认为 False）
  --debug               是否打印调试信息（默认为 False）

• --model_name：模型在 HuggingFace Hub 上的名称。默认为 shibing624/text2vec-base-chinese。
• --charset_file：用以加载字符集的文件。默认为 charset.json。
• --output_dir：生成的图像文件的输出目录。默认为 images。
• --is_detail：是否对汉字进行详细分类。默认为 False。
• --debug：是否打印调试信息。默认为 False。

示例

$ vocab-coverage embedding --model_name=THUDM/chatglm-6b --debug
对模型 THUDM/chatglm-6b 的 embedding 进行可视化...
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████| 8/8 [00:14<00:00,  1.79s/it]
reducing embeddings (130528, 4096) to 2D...
[t-SNE] Computing 91 nearest neighbors...
[t-SNE] Indexed 130528 samples in 0.223s...
...
[t-SNE] Computed conditional probabilities for sample 130528 / 130528
[t-SNE] Mean sigma: 0.251563
[t-SNE] Computed conditional probabilities in 1.189s
[t-SNE] Iteration 50: error = 111.8378067, gradient norm = 0.0000213 (50 iterations in 8.560s)
[t-SNE] Iteration 100: error = 111.7450027, gradient norm = 0.0002728 (50 iterations in 13.605s)
[t-SNE] Iteration 150: error = 111.7283707, gradient norm = 0.0000039 (50 iterations in 7.279s)
[t-SNE] Iteration 200: error = 111.7283707, gradient norm = 0.0000039 (50 iterations in 7.123s)
...
[t-SNE] Iteration 950: error = 3.7165585, gradient norm = 0.0030942 (50 iterations in 7.229s)
[t-SNE] Iteration 1000: error = 3.6922786, gradient norm = 0.0029739 (50 iterations in 7.451s)
[t-SNE] KL divergence after 1000 iterations: 3.692279
draw embeddings (130528, 2)...
...
draw embedding point: 130528
font size: 25, font: ('Noto Sans CJK JP', 'Regular')
...
save to images/embeddings/THUDM-chatglm-6b.embedding.jpg...

分析结果

如果图片无法显示，请访问项目 Github 页面：https://github.com/twang2218/vocab-coverage

下面是挑选出来的一些比较有特点的模型，完整的模型分析列表请查看 模型分析列表。

BERT 类模型

名称	中文覆盖率	输入词向量分布	输出词向量分布
bert-base-cased
roberta-large
bert-base-multilingual-cased

T5 模型及其衍生的模型对比

名称	中文覆盖率	输入词向量分布	输出词向量分布
google / flan-t5-base
shibing624 / prompt-t5-base-chinese
shibing624 / mengzi-t5-base-chinese-correction

bert-base-chinese 模型及其衍生的模型对比

名称	中文覆盖率	输入词向量分布	输出词向量分布
bert-base-chinese
hfl / chinese-macbert-base
shibing624 / text2vec-base-chinese
moka-ai / m3e-base
junnyu / wobert_chinese_plus_base

ERNIE 模型及其衍生的模型对比

名称	中文覆盖率	输入词向量分布	输出词向量分布
nghuyong / ernie-3.0-base-zh
shibing624 / text2vec-base-chinese-sentence
shibing624 / text2vec-base-chinese-paraphrase

paraphrase-multilingual-MiniLM-L12-v2 模型及其衍生的模型对比

名称	中文覆盖率	输入词向量分布	输出词向量分布
sentence-transformers / paraphrase-multilingual-MiniLM-L12-v2
shibing624 / text2vec-base-multilingual

xlm-roberta-base 模型及其微调后的模型对比

名称	中文覆盖率	输入词向量分布	输出词向量分布
xlm-roberta-base
sentence-transformers / paraphrase-multilingual-mpnet-base-v2

LLaMA 及衍生模型

名称	中文覆盖率	输入词向量分布	输出词向量分布
decapoda-research / llama-7b-hf
lmsys / vicuna-7b-delta-v1.1
togethercomputer / RedPajama-INCITE-7B-Chat
openlm-research / open_llama_7b
shibing624 / chinese-alpaca-plus-7b-hf

英文大语言模型

名称	中文覆盖率	输入词向量分布	输出词向量分布
decapoda-research / llama-7b-hf
mosaicml / mpt-7b-instruct
tiiuae / falcon-7b-instruct
nomic-ai / gpt4all-j
OpenAssistant / oasst-sft-4-pythia-12b-epoch-3.5

中文大语言模型

名称	中文覆盖率	输入词向量分布	输出词向量分布
THUDM / chatglm-6b
THUDM / chatglm2-6b
fnlp / moss-moon-003-sft
baichuan-inc / baichuan-7B

OpenAI 提供的模型

名称	中文覆盖率	输入词向量分布	输出词向量分布
OpenAI / text-embedding-ada-002

其他模型

请参见 模型分析列表。