Lectura Tokeniseur

Normalisateur et tokeniseur complet pour le français

Module autonome, zéro dépendance externe. Détecte et classifie les formules (nombres, sigles, dates, téléphones, numéros, ordinaux, fractions, notations scientifiques, expressions mathématiques).

Installation

pip install lectura-tokeniseur

Utilisation

from lectura_tokeniseur import tokenise

resultat = tokenise("Le 25 décembre 2024, il faisait -3°C à Paris.")

for phrase in resultat.phrases:
    for token in phrase:
        print(f"{token.texte:20s}  {token.type.name}")

Le                    MOT
25 décembre 2024      FORMULE
,                     PONCTUATION
il                    MOT
faisait               MOT
-3°C                  FORMULE
à                     MOT
Paris                 MOT
.                     PONCTUATION

Fonctionnalités

Normalisation : typographie, espaces, Unicode
Tokenisation : mots, ponctuation, séparateurs
Détection de formules : nombres (entiers, décimaux, négatifs), dates, heures, téléphones, sigles, ordinaux, fractions, pourcentages, monnaies, unités de mesure, expressions mathématiques, chiffres romains
API simple : tokenise(texte) renvoie un objet structuré

Licence

Ce module est distribue sous licence AGPL-3.0 (non commerciale) — voir LICENCE.txt.

Pour un usage commercial, contacter admin@lectura.world.

Metadata

Release files for lectura-tokeniseur 2.3.6

For a detailed explanation of source distributions (sdists) and built distributions (wheels), please see the package formats documentation.

Source distribution (sdist)

Source distribution for lectura-tokeniseur 2.3.6
File	Size	Uploaded
lectura_tokeniseur-2.3.6.tar.gz	49.7 kB	Jul 8, 2026	Details

Built distribution (wheel)

Table of built distributions (wheels) for lectura-tokeniseur 2.3.6
File	Interpreter	ABI	Platform	Reset
lectura_tokeniseur-2.3.6-py3-none-any.whl 43.0 kB Jul 8, 2026	Python 3	none	any	Details

Total release size: 92.7 kB

Release files / lectura_tokeniseur-2.3.6.tar.gz

Download URL	lectura_tokeniseur-2.3.6.tar.gz
Size	49.7 kB
Tags	Source
SHA-256 checksum How to use checksums	`6518c59042e8d662f50e186dbd99f5563941bc320fa6386c8a5791e0b1f6704e`
BLAKE2b-256 checksum How to use checksums	`b78ed6a999049dff615add09709c88c8b3ea2ab163ed44d09de1d4c6696f813d`
Upload date	Jul 8, 2026
Uploaded using Trusted Publishing? What is trusted publishing?	No
Uploaded via	`twine/6.2.0 CPython/3.11.9`

Release files / lectura_tokeniseur-2.3.6-py3-none-any.whl

Download URL	lectura_tokeniseur-2.3.6-py3-none-any.whl
Size	43.0 kB
Tags	Python 3
SHA-256 checksum How to use checksums	`7186642ad41e5899918c47c33b5f151863f430c9a55ac81e3f7b3c350308e252`
BLAKE2b-256 checksum How to use checksums	`fa761b1c6423a27d13985c9f57ea51560c792371dd9d794cb3bcd5008ae1d1fc`
Upload date	Jul 8, 2026
Uploaded using Trusted Publishing? What is trusted publishing?	No
Uploaded via	`twine/6.2.0 CPython/3.11.9`