kocer

한국어 STT를 공정하게 채점하는 CER — 띄어쓰기·숫자·문장부호·영문 약어 표기 차이를 오류로 세지 않습니다.

Fair CER/WER for Korean speech recognition. Spacing, punctuation, number notation (3개 ↔ 세 개) and Latin acronyms (AI ↔ 에이아이) are not counted as errors. Unlike jiwer and nlptutti, kocer scores numbers against every valid Korean reading, keeps the original CER alongside, and tells you where your errors come from. Pure Python, zero dependencies, jiwer-compatible API.

pip install kocer

위 그림을 내 모델 출력으로 한 줄에 얻습니다. 기존 CER 숫자는 그대로 두고, 그 오류가 어디서 왔는지만 나눠 보여줍니다.

>>> import kocer
>>> print(kocer.breakdown(refs, hyps))      # whisper-large-v3, Zeroth test 457발화
raw CER 8.60%  →  kocer CER 2.93%   (2,191 raw errors, 457 pairs)
띄어쓰기     1,142   52%  █████████████████████
문장부호       226   10%  ████
숫자·영문      258   12%  █████
진짜 오류      565   26%  ██████████

문장 하나로 보면 이렇습니다.

ref: 사과 세 개 주세요
hyp: 사과 3개 주세요
jiwer CER 0.200   nlptutti CER 0.143   kocer CER 0.000

공개 모델 재채점: 같은 출력, 네 가지 채점

공개 한국어 ASR 6개 설정을 공개 테스트셋 세 개(Zeroth 457발화, FLEURS ko 382발화, Common Voice 27 ko 579발화, 합계 1,418발화·약 2.9시간)에서 같은 조건(greedy, 언어 고정, 프롬프트 없음)으로 돌리고, 모델 출력은 그대로 둔 채 채점만 네 단계로 바꿨습니다. 각 단계는 정답과 출력에 똑같이 적용됩니다. 단위 %, 코퍼스 단위(총 오류 / 총 정답 글자). 맨 위 그림이 이 실험의 오류 분해이고, 아래가 숫자입니다.

데이터셋별 kocer CER

모든 데이터셋에서 이기는 모델은 없습니다. Common Voice·FLEURS 학습 데이터로 파인튜닝한 BuzzASR는 Common Voice에서 크게 앞서고 Zeroth에서는 뒤집니다. SenseVoice는 Zeroth에서 가장 좋고 나머지에서는 꼴찌입니다. 합산 순위는 어떤 데이터셋을 섞느냐에 따라 달라지니 데이터셋별 열을 먼저 보세요.

채점 단계별 합산 CER

열끼리 비율로 비교하면 안 됩니다. 공백을 지우면 분모가 25% 줄어서(정답 글자 64,833 → 48,470), 띄어쓰기를 이미 잘 맞춘 모델은 CER이 오히려 오릅니다(SenseVoice). 그래서 오류 개수로 다시 봅니다.

• raw CER이 오류로 센 것의 46~68%는 표기 차이였습니다. 대부분은 띄어쓰기와 문장부호이고, 이 둘만 지워도(nlptutti 등이 이미 하는 일) whisper-large-v3가 꼴찌에서 2위로 올라옵니다.
• 숫자·영문 약어는 kocer만 처리하는 몫입니다. 합산 raw 오류의 512%이고 거의 전부 Zeroth에서 나옵니다. Zeroth 정답은 숫자를 전부 한글로 적는데(이천 십 육 년) 대부분의 모델은 아라비아 숫자를 뱉어서(2016년), 숫자를 뱉는 모델의 Zeroth raw 오류 중 827%가 이 경우였습니다. FLEURS와 Common Voice에서는 03%입니다(예외: 숫자를 한글로만 뱉는 SenseVoice의 FLEURS 911%, 반대 방향). 이 몫만으로도 합산 상위권이 바뀝니다. TeamUNIVA 4위 → 2위, BuzzASR 3위 → 1위.
• 어디까지 믿을 수 있나. 문장 단위 paired bootstrap 2,000회(kocer 기준): BuzzASR ≈ TeamUNIVA(−0.09%p, 95% 구간 [−0.32, +0.13]), 둘 다 Qwen3-ASR보다 나음(0.40 [0.16, 0.64], 0.31 [0.15, 0.46]), BuzzASR > whisper(0.23 [0.06, 0.40]), whisper는 TeamUNIVA·Qwen3-ASR과 구분 안 됨, SenseVoice는 모두에게 1.5~1.9%p 뒤짐. 순위 구간: BuzzASR [1,2], TeamUNIVA [1,3], whisper [2,4], Qwen3-ASR [3,4], SenseVoice [5,6].

정규화가 진짜 오류를 숨기지 않나. raw > 0이고 kocer = 0인 문장을 Zeroth·FLEURS 전 모델 출력에서 모아(중복 제거 1,325건) 무작위 100건(seed 20261024)을 저자가 정답과 나란히 읽었습니다. 99건은 띄어쓰기·문장부호·숫자 표기 차이만, 0건이 실제 오류를 숨김, 1건이 애매(일 세기 전/일세기 전: 띄어쓰기가 "한 세기 전"과 "1세기"를 가름). 애매한 유형은 띄어쓰기가 동형이의어를 만드는 경우로, 공백을 지우는 모든 CER이 0으로 세며 kocer의 숫자 후보 때문에 생긴 건 없었습니다. 목록은 benchmarks/results/fake_review.tsv에 있습니다.

주의할 것. 디코딩은 전 모델 greedy로 각 모델의 최고점 설정이 아닙니다(BuzzASR 모델카드는 반복 억제 옵션을 권장). Common Voice는 Hugging Face 사본이 비어 있어 Mozilla Data Collective의 Scripted Speech 27.0을 썼고, BuzzASR 모델카드(버전 25)와 test가 완전히 같지 않습니다. 데이터셋은 각 0.8~1.1시간이라 0.3%p 이하 차이는 위 신뢰구간과 함께 읽어야 합니다.

모델 출력 전체(jsonl), 추론·채점 스크립트, 부트스트랩 코드, 전체 표는 benchmarks/에 있습니다. kocer 0.1.3으로 다시 채점하면 표의 kocer 열이 소수점 둘째 자리까지 재현됩니다.

기존 도구와 무엇이 다른가

한국어 STT 채점에는 보통 jiwer나 nlptutti를 씁니다. 셋 다 같은 편집거리로 CER을 계산합니다. 다른 점은 무엇을 오류로 세느냐입니다.

• jiwer는 언어를 가리지 않는 범용 도구입니다. 띄어쓰기와 문장부호도 기본으로 오류로 셉니다.
• nlptutti는 한국어용입니다. 띄어쓰기와 문장부호는 무시하지만, 숫자와 영문 표기 차이는 오류로 셉니다.
• kocer는 여기에 더해 숫자 읽기(3개 = 세 개)와 영문 약어 읽기(AI = 에이아이)까지 같은 말로 봅니다.

같은 문장, 세 도구의 CER

2026-10-24 실측. jiwer 4.0.0, nlptutti 0.0.0.24, kocer 0.1.2, 모두 기본 설정.

마지막 두 줄은 진짜 인식 오류입니다. kocer도 오류로 셉니다. "세 시 삼십 분"과 "3시 13분"에서 kocer가 낮은 이유는 "3시"는 맞게 인식한 부분이라 감점하지 않고, 틀린 "13분"만 세기 때문입니다.

기능 비교

이럴 때 kocer를 쓰세요. 정답 전사와 STT 결과의 숫자·영문 표기 방식이 다를 때입니다. 예를 들어 정답은 한글로 읽은 대로 적었는데 모델은 아라비아 숫자로 출력하는 경우입니다. 이 차이를 오류로 세면 모델 간 비교가 표기 습관 비교가 됩니다.

이럴 때는 nlptutti가 낫습니다. 여러 모델의 리포트를 만들거나, 개체명·키워드 단위로 평가하거나, 기준 점수로 CI를 막고 싶을 때입니다. 두 도구를 같이 써도 됩니다.

설치

pip install kocer          # 순수 파이썬, 의존성 없음
pip install kocer[fast]    # rapidfuzz로 채점 수십 배 빠름. 긴 문장(자막·회의록)을 많이 재면 권장

사용

import kocer

kocer.cer("사과 세 개 주세요", "사과 3개 주세요")   # 0.0
kocer.cer(refs, hyps)                                # 리스트도 됨 (jiwer와 같은 코퍼스 집계)
kocer.wer(ref, hyp)

r = kocer.measure("세 시 삼십 분", "3시 30분")
r.cer         # 0.0  정규화 후
r.raw_cer     # 0.625  정규화 전 (jiwer와 같은 값). 둘의 차이가 "가짜 오류"의 크기
r.ops         # {'S': 0, 'D': 0, 'I': 0}
r.alignment   # [('H', '세', '세'), ...]
r.chosen_ref  # 숫자 후보 중 실제로 채택된 정답
r.chosen_hyp  # '세시삼십분'

b = kocer.breakdown(refs, hyps)   # 오류가 어디서 왔는지 개수로 분해
b.spacing, b.punctuation, b.numbers_letters, b.remaining   # 합이 b.raw_errors
b.shares                          # 비율
b.cer                             # {'raw':…, 'nospace':…, 'nopunct':…, 'kocer':…}
print(b)                          # 위의 막대 출력

# 단어처럼 읽는 약어는 직접 넘김 (내장 사전 위에 덮어씀)
kocer.cer("엘지 트윈스", "LG 트윈스")                      # 0.0  철자 읽기
kocer.cer("케이비오 리그", "KBO 리그")                      # 0.0
kocer.cer("유니스트 입학", "UNIST 입학", aliases={"UNIST": "유니스트"})  # 0.0

kocer ref.txt hyp.txt          # 줄 단위 쌍. raw CER, kocer CER, 오류 분해를 출력
kocer ref.txt hyp.txt --diff   # 틀린 글자만 색으로 표시

무엇을 무시하고, 무엇을 세는가

정규화는 순서대로 적용되고 각 단계를 끌 수 있습니다.

normalize=False면 jiwer와 같은 순수 CER을 돌려줍니다.

숫자: 정답 하나가 아니라 후보 집합

숫자는 조수사에 따라 읽기가 달라서(3개=세 개, 3층=삼 층, 3시 30분=세 시 삼십 분) 규칙 하나로 정답을 만들 수 없습니다. kocer는 숫자마다 {원문 숫자, 한자어 읽기, 고유어 읽기, 자릿수 읽기} 후보를 만들고 CER이 최소가 되는 조합을 고릅니다.

• 조수사 사전(counters.py)에 있으면 그 읽기만, 없으면 두 읽기 모두 허용합니다. 틀리게 감점하는 것보다 관대한 쪽이 안전하다는 정책입니다.
• 반대 방향(ref가 한글 수사, hyp가 숫자)도 처리합니다.
• 전화번호·연도는 자릿수 읽기(010 = 공일공, 2024 = 이공이사)도 후보에 들어갑니다.
• 고유어 읽기는 1~99까지. 100개는 백 개만 허용하고, 백스무 명(120명)은 아직 안 됩니다.
• 고유어는 관형형(세, 스무)과 단독형(셋, 스물) 둘 다 후보에 넣습니다. 소수점은 점만 허용하고 구어 쩜은 받지 않습니다.
• 숫자 하나에 후보가 많아 조합이 64개를 넘으면 숫자 구간마다 따로 최적 후보를 고르는 근사를 씁니다.

"너무 관대하다"는 비판에 대해

정규화는 실제 오류를 숨길 수 있습니다. 그래서 raw_cer를 항상 같이 돌려주고, 모든 단계를 끌 수 있게 했습니다. 두 값을 같이 보고하세요.

한계

• 대문자 연속은 철자로 읽습니다(AI = 에이아이). 단어처럼 읽는 약어는 aliases로 넘기세요. NASA, UNESCO, COVID 등 16개만 내장되어 있습니다.
• 단위 기호는 %, km, kg, cm, mm, ml만 한글로 바꿉니다. 3m은 삼 미터와 다른 것으로 봅니다.
• WER은 띄어쓰기 차이를 오류로 셉니다. 한국어 WER의 본질적 한계이고, CER을 권합니다.
• 조수사 사전은 완전하지 않습니다. 사전에 없는 조수사는 두 읽기를 다 허용합니다. 케이스를 tests/cases.tsv에 추가하는 PR을 환영합니다.
• 입력은 텍스트 쌍만 받습니다. 음성 파일·모델 실행은 다루지 않습니다.

라이선스

MIT