kocer

한국어 STT를 공정하게 채점하는 CER — 띄어쓰기·숫자·문장부호·영문 약어 표기 차이를 오류로 세지 않습니다.

Fair CER for Korean speech recognition. Number notation (3개 ↔ 세 개) is scored against every valid Korean reading, the original CER is kept alongside, and breakdown() tells you where your errors come from. Pure Python, zero dependencies, jiwer-compatible API.

위 그림을 내 모델 출력으로 한 줄에 얻습니다. 기존 CER은 그대로 두고, 그 오류가 어디서 왔는지 나눠 보여줍니다.

>>> import kocer
>>> print(kocer.breakdown(refs, hyps))      # whisper-large-v3, Zeroth test 457발화
raw CER 8.60%  →  kocer CER 2.93%   (2,191 raw errors, 457 pairs, kocer 0.1.8)
띄어쓰기     1,142   52%  █████████████████████
문장부호       226   10%  ████
숫자·영문      258   12%  █████
진짜 오류      565   26%  ██████████

왜 필요한가

숫자는 같은 말을 여러 방식으로 적습니다(3개 / 세 개). 기존 CER은 이걸 오류로 셉니다. 그래서 정답과 모델의 숫자 표기가 다르면, 모델 비교의 방향까지 뒤집힙니다. KsponSpeech에서 숫자가 든 628발화로 같은 두 모델을 비교한 결과입니다.

TeamUNIVA/qwen3_asr_1.7b_ko 대 Qwen/Qwen3-ASR-1.7B. 네 값 모두 95% 신뢰구간이 0을 벗어납니다.

비슷한 모델끼리, 특히 출력 스타일이 바뀐 버전끼리 비교할 때 필요합니다. 모델끼리 차이가 크면 어떤 도구로 재도 순위는 거의 같습니다.

설치

pip install kocer          # 순수 파이썬, 의존성 없음
pip install kocer[fast]    # rapidfuzz로 수십 배 빠름. 긴 문장을 많이 잴 때 권장

사용

import kocer

kocer.cer("사과 세 개 주세요", "사과 3개 주세요")    # 0.0
kocer.cer(refs, hyps)                                 # 리스트는 코퍼스 단위 (jiwer와 같은 집계)

r = kocer.measure("세 시 삼십 분", "3시 30분")
r.cer, r.raw_cer                                      # 0.0, 0.625  (정규화 후, 정규화 전)

print(kocer.breakdown(refs, hyps))                    # 오류를 종류별로 분해 (위 출력)
kocer.cer("유니스트 입학", "UNIST 입학", aliases={"UNIST": "유니스트"})   # 단어처럼 읽는 약어

kocer ref.txt hyp.txt          # 줄 단위 쌍. raw CER, kocer CER, 오류 분해
kocer ref.txt hyp.txt --diff   # 틀린 글자만 색으로 표시

kocer.wer(ref, hyp)

r = kocer.measure("세 시 삼십 분", "3시 30분")
r.ops         # {'S': 0, 'D': 0, 'I': 0}
r.alignment   # [('H', '세', '세'), ...]
r.chosen_ref  # 숫자 후보 중 실제로 채택된 정답
r.chosen_hyp  # '세시삼십분'

b = kocer.breakdown(refs, hyps)
b.spacing, b.punctuation, b.numbers_letters, b.remaining   # 합이 b.raw_errors
b.shares                          # 비율
b.cer                             # {'raw':…, 'nospace':…, 'nopunct':…, 'kocer':…}

kocer.cer("엘지 트윈스", "LG 트윈스")      # 0.0  대문자 연속은 철자 읽기
kocer.cer("케이비오 리그", "KBO 리그")      # 0.0

기존 도구와 비교

jiwer, nlptutti, kocer는 모두 같은 편집거리로 CER을 계산합니다. 다른 건 무엇을 오류로 세느냐입니다. jiwer는 띄어쓰기·문장부호도 오류로 세고, nlptutti는 그 둘은 무시하지만 숫자·영문 표기 차이는 셉니다. kocer는 숫자와 영문 약어 읽기까지 같은 말로 봅니다.

마지막 두 줄은 진짜 인식 오류이고, kocer도 오류로 셉니다. jiwer 4.0.0, nlptutti 0.0.0.24, kocer 0.1.7, 모두 기본 설정.

여러 모델 리포트, 개체명·키워드 평가, 품질 게이트가 필요하면 nlptutti가 낫습니다. 두 도구를 같이 써도 됩니다.

채점 규칙

띄어쓰기와 문장부호를 지우고, 숫자와 영문 약어는 가능한 읽기 중 CER이 가장 낮은 것을 고릅니다. 모든 단계는 끌 수 있고, 정규화 전 CER(raw_cer)을 항상 같이 돌려줍니다. 정규화가 실제 오류를 숨길 수 있으니 두 값을 같이 보고하세요.

공개 모델 벤치마크

공개 한국어 ASR 7개 설정을 Zeroth, FLEURS, Common Voice 27, KsponSpeech(합계 7,418발화)에서 돌리고, 같은 출력을 네 단계로 채점했습니다.

• raw CER이 센 오류의 46~68%는 표기 차이였습니다. 대부분은 띄어쓰기와 문장부호입니다.
• 숫자가 든 문장에서는 기존 채점이 비교 방향을 틀립니다(위 표). 전체 평균으로 보면 숫자 없는 문장이 많아 차이가 작아집니다.
• 정규화가 진짜 오류를 숨기지 않는지 100건을 직접 읽었습니다. 실제 오류를 숨긴 경우는 0건이었습니다.

모델별 점수, 단계별 CER, 신뢰구간, 디코딩 설정, 재현 스크립트는 benchmarks/에 있습니다. KsponSpeech 결과는 한국지능정보사회진흥원(NIA)의 AI-Hub에서 제공한 '한국어 음성' 데이터를 활용했고, 약관상 숫자 표만 공개합니다.

한계

• 숫자와 영문 약어가 아닌 표기 차이(구어 축약, 발음대로 적은 표기)는 오류로 셉니다.
• 영문 약어 처리는 공개 데이터에 영문이 거의 없어 효과를 검증하지 못했습니다. 효과가 확인된 건 숫자입니다.
• 내장 약어 사전은 16개뿐입니다. 단어처럼 읽는 약어는 aliases로 넘기세요.
• 단위 기호는 %, km, kg, cm, mm, ml만 바꿉니다. 조수사 사전도 완전하지 않습니다. tests/cases.tsv에 케이스를 추가하는 PR을 환영합니다.
• WER은 띄어쓰기 차이를 오류로 셉니다. 한국어에서는 CER을 권합니다.

인용과 보고

점수를 적을 때는 버전을 함께 적어 주세요. 정규화 규칙이 버전마다 바뀌어 같은 출력도 점수가 다를 수 있습니다. raw_cer도 같이 적으면 다른 도구로 잰 숫자와 비교할 수 있습니다.

CER 4.13% (raw) / 2.93% (kocer 0.1.8)

레포 오른쪽의 "Cite this repository"에서 인용 형식을 복사할 수 있습니다(CITATION.cff). kocer로 채점한 모델·논문이 있으면 이슈로 알려주세요.

@software{kocer,
  author  = {Choi, Kwan-u},
  title   = {kocer: fair CER/WER for Korean speech recognition},
  year    = {2026},
  version = {0.1.8},
  url     = {https://github.com/Choi-kwan-u/kocer}
}

라이선스

MIT. 인용은 의무가 아니라 부탁입니다.