flash-tokenizer 0.5.0

FlashBertTokenizer implementation with C++ backend

Tokenizer Library for LLM Serving

EFFICIENT AND OPTIMIZED TOKENIZER ENGINE FOR LLM INFERENCE SERVING

FlashTokenizer는 LLM 추론시 사용하는 BertTokenizer와 같은 고성능 tokenizer 구현체 입니다. FlashAttention, FlashInfer와 같이 최고의 속도와 정확도를 보여주며 transformers의 BertTokenizerFast보다 4~5배 빠릅니다.

FlashTokenizer는 아래와 같은 핵심 기능이 포함됩니다.

• C++17로 구현되었으며 LLVM으로 빌드할 시 가장 빠릅니다.
• pybind11을 통해 Python에서도 동일하게 빠른 속도를 보여줍니다.
• Blingfire는 정확도가 낮아 실제로 사용하기에 어려웠지만 FlashBertTokenizer는 높은 정확도와 빠른 속도까지 모두 가지고 있습니다.

Tokenizer	Elapsed Time (s)	titles	Accuracy
BertTokenizer(Huggingface)	255.651	404,464	100 (Baseline)
FlashBertTokenizer	19.1325	404,464	99.3248
BertTokenizerFast(HuggingFace)	75.8732	404,464	99.8615
BertTokenizerFast(PaddleNLP)	71.5387	404,464	99.8615
FastBertTokenizer(Tensorflow-text)	82.2638	404,464	99.8507
Blingfire	12.7293	404,464	96.8979

FlashInfer는 대규모 언어 모델용 라이브러리이자 커널 생성기로, FlashAttention, SparseAttention, PageAttention, 샘플링 등과 같은 LLM GPU 커널의 고성능 구현을 제공합니다. 플래시인퍼는 LLM 제공 및 추론에 중점을 두고 있으며 다양한 시나리오에서 최첨단 성능을 제공합니다.

FlashInfer is a library and kernel generator for Large Language Models that provides high-performance implementation of LLM GPU kernels such as FlashAttention, SparseAttention, PageAttention, Sampling, and more. FlashInfer focuses on LLM serving and inference, and delivers state-of-the-art performance across diverse scenarios.

| Blog | Documentation | Slack| Discussion Forum |

Flash BERT tokenizer implementation with C++ backend.

Installation

brew install llvm libomp

pip install -U flash-tokenizer

git clone https://github.com/springkim/flash-tokenizer.git
cd flash-tokenizer
pip install .

Usage

from flash_tokenizer import FlashBertTokenizer
tokenizer = FlashBertTokenizer("path/to/vocab.txt", do_lower_case=True)
# Tokenize text
ids = tokenizer("Hello, world!")
print(ids)