IAR Tokenizer

The IAR (Iván Arias Rodríguez) Tokenizer is a tokenizer developed mainly for Spanish. It is able to divide a text in paragraphs, those in sentences, and each sentence in a list of tokens.

The creation of this software was supported by the Spanish Ministry of Education, Culture and Sport via a doctoral grant to Iván Arias Rodríguez (FPU16/04039). It has also been funded by research projects TIN2014-52010-R (RedR+Human) and TIN2017-88092 R (CetrO+Spec).

You can install this software with pip :

pip install iar-tokenizer

If you change or adapt a function, change its name (for example add your initial after the name)

This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

This code is given as is without warranty of any kind. In no event shall the authors or copyright holder be liable for any claim damages or other liability.

El IAR (Iván Arias Rodríguez) Tokenizer es un tokenizador desarrollado principalmente para la lengua española. Es capaz de dividir un texto en párrafo, estos en frases, y cada frase en una lista de tokens.

La creación de este software fue apoyada por el Ministerio de Educación, Cultura y Deporte de España, a través de una beca doctoral otorgada a Iván Arias Rodríguez (FPU16/04039). También ha sido financiado por los proyectos de investigación TIN2014-52010-R (RedR+Human) y TIN2017-88092 R (CetrO+Spec).

Puedes instalar este software con pip :

pip install iar-tokenizer

Si cambias o adaptas una función, cambia su nombre (por ejemplo añade tus iniciales tras el nombre)

Este trabajo se ofrece bajo la licencia Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License. http://creativecommons.org/licenses/by-nc-sa/4.0/

Este código se ofrece como es sin ninguna garantía de ningún tipo. En ningún caso los autores o el titular de los derechos de autor serán responsables de cualquier reclamación por daños y perjuicios u otra responsabilidad.