KhaledDSML — علم البيانات وتعلّم الآلة وتحليل البيانات الضخمة

الإعداد والتطوير: الأستاذ الدكتور خالد علي (Khaled Ali)
الجامعة: جامعة الشهيد حمه لخضر – الوادي، الجزائر (University of El Oued, Algeria)
الكلية: كلية العلوم الاقتصادية والتجارية وعلوم التسيير (Faculty of Economic, Commercial and Management Sciences)
البريد الإلكتروني المهني: ali-khaled@univ-eloued.dz
الإصدار المستقر المنشور: 0.1.0 — نسخة التطوير القادمة: 0.2.0

حزمة Python تعليمية للمقاييس التالية:

• علم البيانات وتعلّم الآلة — السنة الثالثة ليسانس اقتصاد وتسيير المؤسسات.
• تحليل البيانات الضخمة — السنة الثانية ماستر اقتصاد كمي.

تنبيه: تم تصميم المشروع وفق البرامج البيداغوجية التي أعدّها المؤلف؛ لا يُدَّعى تطابقه مع بطاقة وزارية رسمية دون مراجعتها. البيانات الاصطناعية للأغراض التعليمية فقط. الإحصاء الوصفي لا يثبت السببية، وعدم رفض الفرضية الصفرية لا يثبت صحتها.

لماذا هذه المكتبة؟

• اختبارات فرضيات شائعة مع statistic، وp_value، وفرضية صفرية، وتفسير عربي.
• فحص جودة البيانات واكتشاف القيم الشاذة وتحسين الذاكرة.
• أنابيب تدريب آمنة من تسرب البيانات، وتقييم الانحدار والتصنيف والتجميع.
• معالجة CSV بالأجزاء، وتجميع شهري وجغرافي، وتوليد مليون معاملة اصطناعية إذا طُلب ذلك.
• 24 سؤال اختيار متعدد للتقويم التكويني مع التصحيح والتفسير.
• دعم Windows وJupyterLab وGoogle Colab بعد تثبيت الاعتمادات.

التثبيت من المجلد المصدر — Windows PowerShell

افتح PowerShell من داخل المجلد الذي يحتوي pyproject.toml:

py -3.13 -m venv .venv
.\.venv\Scripts\python.exe -m pip install --upgrade pip
.\.venv\Scripts\python.exe -m pip install -e ".[all,dev]"
.\.venv\Scripts\python.exe -m pytest
.\.venv\Scripts\khaled-dsml.exe demo --rows 1000
.\.venv\Scripts\khaled-dsml.exe quiz --course big_data --count 5

بعض بيئات Windows تستعمل py بدل py -3.13 عند عدم توفر الفرع 3.13.

الإصدار الرسمي الحالي على PyPI:

py -m pip install khaled-dsml

أمثلة عملية

اختبار اعتدالية

from khaled_dsml import normality_test
result = normality_test([12, 13, 15, 17, 16, 14, 13, 18])
print(result.interpretation_ar)
print(result.p_value)

تقارير عربية بتنسيق RTL — تطوير 0.2.0

from khaled_dsml import normality_test, display_test_report, save_test_report

result = normality_test([12, 13, 15, 17, 16, 14, 13, 18])
display_test_report(result)  # عرض منسق داخل Jupyter أو Google Colab
save_test_report(result, "report.html")  # تقرير قابل للطباعة دون اتصال

تنبيه: هذه الدوال ضمن الفرع التجريبي feature/rtl-reporting-v0.2.0، ولم تصل بعد إلى إصدار PyPI المنشور 0.1.0. تعليمات تجربة الفرع في التوثيق العربي.

تقييم التصنيف الثنائي وROC-AUC — تطوير 0.2.0

from khaled_dsml import binary_classification_metrics, display_classification_report

metrics = binary_classification_metrics([0, 0, 1, 1], [0.1, 0.4, 0.35, 0.8])
display_classification_report(metrics)

لرسم ROC ومقارنة نماذج الانحدار اللوجستي وأشجار القرار دون تسرّب بيانات التدريب، راجع دليل تقييم التصنيف العربي.

إحصاءات وصفية شاملة + شرح عربي وإنجليزي (تطوير 0.2.0)

from khaled_dsml import describe_numeric, display_descriptive_report

summary = describe_numeric([10, 12, 12, 14, 18, 20, None])
display_descriptive_report(summary)  # Arabic RTL + English LTR

تشمل النزعة المركزية، والتشتت، والجداول التكرارية، والربيعيات والقيم المئوية، والالتواء والتفرطح، والمتوسط المشذب والهندسي والتوافقي، والارتباط والتغاير، ومعامل جيني، والتقارير الثنائية اللغة.

الدليل الأكاديمي عربي–إنجليزي | كتالوج المستخدم: متابعة 256 بندًا

تدقيق جودة البيانات والافتراضات | Data audit and assumption checks (0.2.0)

import pandas as pd
from IPython.display import HTML, display
from khaled_dsml import audit_dataset, render_audit_report, anderson_darling_normality

df = pd.DataFrame({"price": [100, 110, None, 110], "sales": [5, 7, 8, 7]})
audit = audit_dataset(df)
display(HTML(render_audit_report(audit)))
print(anderson_darling_normality([1.1, 1.2, 1.5, 1.8, 2.1, 2.4, 2.6, 3.0]))

توفر وحدة audit كشف التكرارات التامة، أنماط الفقد، الأعمدة شبه الثابتة، القيم الشاذة، بنفورد، الأرقام النهائية، وتداخل التدريب والاختبار. تضم assumptions_extra اختبارات Anderson–Darling وLilliefors وRuns واختبار Bartlett للكروية وKMO وDurbin–Watson وVIF.

التوثيق الأكاديمي بالعربية والإنجليزية. وظائف هذا القسم موجودة على فرع تطوير 0.2.0 فقط، ولم تُنشر بعد على PyPI.

كشف مشاكل البيانات

from khaled_dsml import generate_transactions, quality_report, missingness_report
transactions = generate_transactions(100_000)
print(quality_report(transactions))
print(missingness_report(transactions))

تعلم الآلة (منع تسرب البيانات)

from sklearn.datasets import make_regression
from khaled_dsml import split_data, make_regressor, regression_metrics
X, y = make_regression(n_samples=200, n_features=3, noise=3, random_state=42)
X_train, X_test, y_train, y_test = split_data(X, y)
model = make_regressor(X_train, "ridge", alpha=1.0)
model.fit(X_train, y_train)
print(regression_metrics(y_test, model.predict(X_test)))

Dask وApache Spark لتحليل البيانات الضخمة (تطوير 0.2.0)

المكتبة تدعم تشغيل المحركين محليًا باعتماديات اختيارية. يقوم Dask بمعالجة الملفات على أجزاء وينفذ التجميع عند الطلب، بينما يعيد Spark نتائج موزعة دون تحويل الملفات الكبيرة إلى pandas.

from khaled_dsml import dask_group_summary, dask_missingness_report
# تنفيذ مؤجل؛ تسترجع الجداول الصغيرة فقط إلى الذاكرة
summary = dask_group_summary("transactions.csv", group_by="wilaya",
                             amount_column="montant_da", compute=True)
print(summary)
print(dask_missingness_report("transactions.csv"))

from khaled_dsml import create_spark_session, spark_read_csv, spark_group_summary
spark = create_spark_session(master="local[2]")
df = spark_read_csv(spark, "transactions.csv")
spark_group_summary(df).show()
spark.stop()

دليل Dask وSpark بالعربية والإنجليزية — أمثلة للتجميع الشهري والمفقودات، وطريقة التثبيت في Colab وWindows. يجب تثبيت الإضافات الاختيارية أولًا، وSpark يحتاج Java. هذه الوظائف الموسعة ضمن فرع تطوير 0.2.0 ولم تُنشر على PyPI بعد.

مليون معاملة والتجميع بالأجزاء

from khaled_dsml import generate_transactions, csv_chunk_summary, csv_chunk_monthly
transactions = generate_transactions(1_000_000)
transactions.to_csv("transactions.csv", index=False)
print(csv_chunk_summary("transactions.csv", group_by="wilaya"))
print(csv_chunk_monthly("transactions.csv"))

read_csv(chunksize=...) لا يحتاج تحميل الملف بكامله. لكن توليد مليون صف في generate_transactions يحتفظ بها في الذاكرة قبل الحفظ؛ اختر عدد صفوف أصغر لجهاز بذاكرة محدودة.

أسئلة تصحيح آلي

from khaled_dsml import get_questions, grade_quiz
questions = get_questions("machine_learning", limit=3, seed=3)
for question in questions:
    print(question.id, question.question)
answers = {q.id: "A" for q in questions}  # إجابات افتراضية
print(grade_quiz(questions, answers))

واجهات المكتبة

لخريطة المقياسين والتغطية التفصيلية، راجع docs/COURSE_MAPPING_AR.md. للحصول على أمثلة مكتملة راجع examples/.

لإنشاء المستودع ونشر الحزمة بأمان عبر GitHub Actions وTrusted Publishing (بدون حفظ مفتاح API)، راجع دليل النشر العربي.

الإصدار الرسمي الحالي والتطوير القادم

• PyPI الحالي: KhaledDSML 0.1.0 — مستقر للاستخدام.
• التطوير 0.2.0: تقارير عربية/إنجليزية RTL/LTR، والإحصاء الوصفي الشامل، واختبارات إضافية وتدقيق البيانات وفحص الافتراضات من كتالوج المستخدم، مع تحليل اختياري بـ Dask وSpark وتقييم التصنيف الثنائي وROC-AUC؛ قيد الاختبارات على فرع مستقل.
• المنهجية: لا يُنشر الإصدار 0.2.0 رسميًا قبل نجاح GitHub Actions ومراجعة التغييرات. راجع دليل النشر.

Notes (English)

KhaledDSML is an educational Python toolkit; it wraps proven NumPy, pandas, SciPy and scikit-learn primitives rather than reinventing statistical algorithms. Optional statistics are backed by statsmodels. It is not a distributed processing engine: the MapReduce example runs locally; Optional Dask and Spark adapters are included, but need real engines and are not validated on a Spark cluster in the published version 0.1.0. Do not fit preprocessing on test data. Hypothesis-test interpretations should be checked against sampling design and assumptions. An MIT license covers this original wrapper code, not a claim of authorship over third-party algorithms.

حقوق الاستخدام

الترخيص MIT. اسم التوزيع المنشور على PyPI هو khaled-dsml. كل الإضافات يمكن مراجعتها عبر اختبارات pytest قبل النشر. حقوق المنهجيات والخوارزميات الأساسية محفوظة لمؤلفيها ومشروعاتها الأصلية.