Qalsadi Arabic Morphological Analyzer and lemmatizer for Python
Project description
Qalsadi Arabic Morphological Analyzer for Python
Developpers: Taha Zerrouki: http://tahadz.com taha dot zerrouki at gmail dot com
Feature s | value |
---|---|
Authors | Authors.md |
Release | 0.3.6 |
License | GPL |
Tracker | linuxscout/qalsadi/Issues |
Website | https://pypi.python.org/pypi/qalsadi |
Doc | package Documentaion |
Source | Github |
Downloa d | sourceforge |
Feedbac ks | Comments |
Account s | [@Twitter](https://twitter.com/linuxscout) [@Sourceforge](http://sourceforge.net/projects/qalsadi/) |
Citation
If you would cite it in academic work, can you use this citation
T. Zerrouki, Qalsadi, Arabic mophological analyzer Library for python., https://pypi.python.org/pypi/qalsadi/
Features مزايا
- Arabic word Light Stemming.
- Features:
- Lemmatization
- Vocalized Text Analyzer,
- Use Qutrub library to analyze verbs.
- give word frequency in arabic modern use.
- Requirement:
- libQutrub: Qutrub verb conjugation library: http://pypi.pyton/LibQutrub
- PyArabic: Arabic language tools library : http://pypi.pyton/pyarabic
- Tashaphyne;Arabic Light Stemmer library : http://pypi.python.org/pypi/Tashaphyne/
Applications
- Stemming texts
- Text Classification and categorization
- Sentiment Analysis
- Named Entities Recognition
Installation
pip install qalsadi
Requirements
pip install -r requirements.txt
- libQutrub: Qutrub verb conjugation library: http://pypi.pyton/LibQutrub
- PyArabic: Arabic language tools library : http://pypi.pyton/pyarabic
- Tashaphyne;Arabic Light Stemmer library : http://pypi.python.org/pypi/Tashaphyne/
- Naftawayh : Arabic words tagger: : http://pypi.python.org/pypi/Naftawayh/
- Arramooz-pysqlite : Arabic dictionary
- CodernityDB : No Sql native python database
Usage
Example
>>> import qalsadi.lemmatizer >>> text = u"""هل تحتاج إلى ترجمة كي تفهم خطاب الملك؟ اللغة "الكلاسيكية" (الفصحى) موجودة في كل اللغات وكذلك اللغة "الدارجة" .. الفرنسية التي ندرس في المدرسة ليست الفرنسية التي يستخدمها الناس في شوارع باريس .. وملكة بريطانيا لا تخطب بلغة شوارع لندن .. لكل مقام مقال""" >>> lemmer = qalsadi.lemmatizer.Lemmatizer() >>> # lemmatize a word ... lemmer.lemmatize("يحتاج") 'احتاج' >>> # lemmatize a word with a specific pos >>> lemmer.lemmatize("وفي") 'في' >>> lemmer.lemmatize("وفي", pos="v") 'وفى' >>> >>> lemmas = lemmer.lemmatize_text(text) >>> print(lemmas) ['هل', 'احتاج', 'إلى', 'ترجمة', 'كي', 'تفهم', 'خطاب', 'ملك', '؟', 'لغة', '"', 'كلاسيكي', '"(', 'فصحى', ')', 'موجود', 'في', 'كل', 'لغة', 'ذلك', 'لغة', '"', 'دارج', '"..', 'فرنسي', 'التي', 'درس', 'في', 'مدرسة', 'ليست', 'فرنسي', 'التي', 'استخدم', 'ناس', 'في', 'شوارع', 'باريس', '..', 'ملك', 'بريطانيا', 'لا', 'خطب', 'بلغة', 'شوارع', 'دنو', '..', 'كل', 'مقام', 'مقالي'] >>> # lemmatize a text and return lemma pos ... lemmas = lemmer.lemmatize_text(text, return_pos=True) >>> print(lemmas) [('هل', 'stopword'), ('احتاج', 'verb'), ('إلى', 'stopword'), ('ترجمة', 'noun'), ('كي', 'stopword'), ('تفهم', 'noun'), ('خطاب', 'noun'), ('ملك', 'noun'), '؟', ('لغة', 'noun'), '"', ('كلاسيكي', 'noun'), '"(', ('فصحى', 'noun'), ')', ('موجود', 'noun'), ('في', 'stopword'), ('كل', 'stopword'), ('لغة', 'noun'), ('ذلك', 'stopword'), ('لغة', 'noun'), '"', ('دارج', 'noun'), '"..', ('فرنسي', 'noun'), ('التي', 'stopword'), ('درس', 'verb'), ('في', 'stopword'), ('مدرسة', 'noun'), ('ليست', 'stopword'), ('فرنسي', 'noun'), ('التي', 'stopword'), ('استخدم', 'verb'), ('ناس', 'noun'), ('في', 'stopword'), ('شوارع', 'noun'), ('باريس', 'all'), '..', ('ملك', 'noun'), ('بريطانيا', 'noun'), ('لا', 'stopword'), ('خطب', 'verb'), ('بلغة', 'noun'), ('شوارع', 'noun'), ('دنو', 'verb'), '..', ('كل', 'stopword'), ('مقام', 'noun'), ('مقالي', 'noun')] >>>
filename="samples/text.txt" import qalsadi.analex as qa try: myfile=open(filename) text=(myfile.read()).decode('utf8'); if text == None: text=u"السلام عليكم" except: text=u"أسلم" print " given text" debug=False; limit=500 analyzer = qa.Analex() analyzer.set_debug(debug); result = analyzer.check_text(text); print '----------------python format result-------' print result for i in range(len(result)): # print "--------تحليل كلمة ------------", word.encode('utf8'); print "-------------One word detailed case------"; for analyzed in result[i]: print "-------------one case for word------"; print repr(analyzed);
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Filename, size | File type | Python version | Upload date | Hashes |
---|---|---|---|---|
Filename, size qalsadi-0.4.2-py3-none-any.whl (261.3 kB) | File type Wheel | Python version py3 | Upload date | Hashes View |
Filename, size qalsadi-0.4.2.tar.gz (240.8 kB) | File type Source | Python version None | Upload date | Hashes View |