Skip to main content

Mysam: Arabic tags manager

Project description

Mysam: Arabic tags manager, ميسم: إدارة الوسوم العربية

تسيير وسوم الكلمات العربية في مجال المعالجة الآلية للغة، ترميز وتفكيك هذه المكتبة توفر سكريبتا خاصا بترميز وسوم الكلمات (الخصائص الصرفية والنحوية والدلالية) في عبارة وسم مختصرة على شكل سلسلة حروف قصيرة مرمّزة نسميها سلسلة الوسوم. يمكن التحويل بين قائمة الوسوم وسلسة الوسوم المختص يمكن الاستفادة من هذه المكتبة من أجل ترميز الوسوم وفك ترميزها، سنستعملها في :

كما تقدّم خدمة متميزة في الإعراب بالطريقة القديمة

  • قائمة الوسوم : Noun, جامد, مضاف, مجرور, متحرك, ينون
  • سلسلة الوسوم المختصرة [N–;–I-;—H;—-]
  • جملة الإعراب {اسم مجرور وهو مضاف، والضمير المتصل مبني في محل جر مضاف إليه}

** هذه ليست مكتبة للتوسيم، بل لإدارة الوسوم في معالجة اللغة**

Manage arabic words tags, encode, decode This library provides a script to encode POS tags (Words features : morphology, syntax, semantic), as a brief tag string called tag string. We can convert between tag list <==> coded tag string. We plan to use it in:

It provides a special feature, make traditional Inflection.

The conversion can be do like:

  • Tags list: Noun, جامد, مضاف, مجرور, متحرك, ينون
  • Encoded tag string [N–;–I-;—H;—-]
  • Inflection phrase {اسم مجرور وهو مضاف، والضمير المتصل مبني في محل جر مضاف إليه}

** This not a Tagger library, but, a tags mangger for NLP **

Tagging System description

You can look at tagging descripton on doc/tagset.md

Developpers: Taha Zerrouki: http://tahadz.com taha dot zerrouki at gmail dot com

Features value
Authors Taha Zerrouki: http://tahad z.com, taha dot zerrouki at gmail dot com
Release 0.2
License GPL
Tracker linuxscout/ mysam-tagman ager/Issues
Website https://pypi .python.org/ pypi/mysam-t agmanager
Source Github
Feedbacks Comments
Accounts [@Twitter](h ttps://twitt er.com/linux scout) [@Sourceforg e](http://so urceforge.ne t/projects/m ysam-tagmana ger/)

مزايا

  • ترميز المزايا إلى وسم موحد مختصر
  • تفكيك الوسم إلى خصائصه
  • توليد الإعراب حسب الطريق التقليدية

Features

  • Encode features to an unified tag string
  • Encode unified tag string to a list of features
  • Generate a traditional inflection style

Applications

  • Text summarizing.
  • Sentences identification.
  • Grammar analysis.
  • Morphological analysis.

تطبيقات

  • التنقيب عن المعلومات.
  • التعرف على الجمل.
  • التحليل النحوي.
  • تسريع التحليل الصرفي.

Demo جرّب

يمكن التجربة على موقع مشكال ، اختر تشكيل، ثم مرّر الفأرة على الكلمة لرؤية التلميح

You can test it on Mishkal Site, choose: Tashkeel, and move mouse over word to get hint.

Installation

` pip install mysam-tagmanager `

Usage

import mysam.tagmaker as tagmaker

Example

Test load configuration

import mysam.tagconfig as tagconfig
import mysam.tag_const as tag_const
import pandas as pd
configuer = tagconfig.tagConfig()
configuer.load_config()
# display
df = pd.DataFrame(tag_const.TAGSDICT)
print('****tagdict ****')
print(df)
*****Result *****
****tagdict ****
          1st person  2nd person  3rd person          Beh          FEH  \
ar_attr          شخص         شخص         شخص           جر          عطف
ar_value       متكلم       مخاطب        غائب          باء        الفاء
attr          person      person      person  preposition  conjonction
code               I           Y           H            B            F
inflect                                            بالباء
part               4           4           4            3            3
pos                4           4           4            2            1
value     1st person  2nd person  3rd person          Beh          FEH
....
....

You can load a specific config file by passing parameter to load_conf. If the file doesn’t exist or failed to be open, the default config is loaded.

configuer = tagconfig.tagConfig()
configuer.load_config("tag.config")

If you want to know if the input file is opened, fix ‘debug’ parameter to ‘True’

If you want to know if the input file is open, fix ‘debug’ parameter to ‘True’

configuer = tagconfig.tagConfig()
configuer.load_config("tag.config", debug=True)

Test call tagmaker

import mysam.tagmaker as tagmaker

taglists = [[u'اسم', u'هاء', u'مجرور',],
        u'تعريف::مرفوع:متحرك:ينون:::'.split(":"),
        ]
for taglist in taglists:
tag_maker = tagmaker.tagMaker()
# encode
tag_maker.encode(taglist)
print(u"+".join(taglist).encode('utf8'))
tagstr = str(tag_maker)
print(tagstr)
# decode a unifed tag string
print(tag_maker.decode())

**** result ****

اسم+هاء+مجرور
N--;--I-;----;----
[(u'نوع الكلمة', u'اسم'), (u'جنس', u'لاشيء'), (u'عدد', u'لاشيء'), (u'إعراب', u'مجرور'), (u'علامة', u'لاشيء'), (u'عطف', u'لاشيء'), (u'جر', u'لاشيء'), (u'تعريف', u'نكرة'), (u'ضمير متصل', u'لاشيء'), (u'استقبال', u'لاشيء'), (u'بناء', u'لاشيء'), (u'زمن', u'لاشيء'), (u'شخص', u'لاشيء')]
تعريف++مرفوع+متحرك+ينون+++
---;--U-;--L-;----
[(u'نوع الكلمة', u'لاشيء'), (u'جنس', u'لاشيء'), (u'عدد', u'لاشيء'), (u'إعراب', u'مرفوع'), (u'علامة', u'لاشيء'), (u'عطف', u'لاشيء'), (u'جر', u'لاشيء'), (u'تعريف', u'معرفة'), (u'ضمير متصل', u'لاشيء'), (u'استقبال', u'لاشيء'), (u'بناء', u'لاشيء'), (u'زمن', u'لاشيء'), (u'شخص', u'لاشيء')]

Exmaple for inflect

>>> tag_maker = tagmaker.tagMaker()
>>> tagcode = 'N--;--I-;----;---'
>>> print(tag_maker.inflect(tagcode).encode('utf8'))
اسم مجرور وعلامة جرّه الياء لأنه جمع مذكر سالم وهو مضاف، والضمير المتصل مبني في محل جر مضاف إليه

Exmaple for add tag

>>> tag_maker = tagmaker.tagMaker()
>>> tagcode = 'N--;--I-;----;---'
>>> tag_new = u"تعريف"
>>> tag_maker.add(tag_new)
>>> tag_new = u"اسم"
>>> tag_maker.add(tag_new)
>>> print(str(tag_maker).encode('utf8'))
N--;----;--L-;----

Exmaple for has tag

>>> tag_maker = tagmaker.tagMaker()
>>> tagcode = 'N--;--I-;----;---'
>>> tag_search = u"مجرور"
>>> print(tag_maker.has_tag(tag_search, tagcode))
True

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Files for mysam-tagmanager, version 0.3.1
Filename, size File type Python version Upload date Hashes
Filename, size mysam_tagmanager-0.3.1-py2-none-any.whl (16.6 kB) File type Wheel Python version py2 Upload date Hashes View
Filename, size mysam_tagmanager-0.3.1-py3-none-any.whl (20.6 kB) File type Wheel Python version py3 Upload date Hashes View
Filename, size mysam-tagmanager-0.3.1.tar.gz (16.4 kB) File type Source Python version None Upload date Hashes View

Supported by

Pingdom Pingdom Monitoring Google Google Object Storage and Download Analytics Sentry Sentry Error logging AWS AWS Cloud computing DataDog DataDog Monitoring Fastly Fastly CDN DigiCert DigiCert EV certificate StatusPage StatusPage Status page