common-framework 2022.6.1

All-in-one framework for Django and Django REST Framework

Framework commun

Boîte à outils commune pour des développements autour de Django (https://www.djangoproject.com/) et Django REST Framework (http://www.django-rest-framework.org/).

Django

Entités

Une entité est un super-modèle Django offrant un nombre important de nouvelles fonctionnalités tels que l'historisation des données, la réversion, les métadonnées, la sérialisation et la représentation des données sous forme de dictionnaire.

Pour utiliser ces fonctionnalités, il est nécessaire de faire hériter chaque modèle de common.models.Entity qui hérite lui-même de django.db.models.Model.

from common.models import Entity

class Personne(Entity):
    pass

Les modèles entités possèdent par défaut les champs suivants :

• creation_date : date de création de l'entité
• modification_date : date de dernière modification de l'entité
• current_user : dernier utilisateur à l'origine de la création/modification
• uuid : identifiant unique de l'entité

L'identifiant unique permet de retrouver n'importe quelle entité depuis la base de données car chacune est enregistrée dans un référentiel global conjointement à son type. Il est donc possible de récupérer une entité ainsi :

from common.models import Global

entity = Global.objects.from_uuid('4b9abebd-8157-4e49-bcae-1a7e063a9f86')

Attention ! Les entités surchargent les méthodes de persistance par défaut de Django (save(), create(), delete()). update() garde cependant son comportement par défaut car il exécute directement la mise à jour en base de données, il sera donc impossible de détecter les changements si elle est utilisée.

Une version allégée d'entité est à disposition sans l'historisation ni le référentiel global, il suffit alors d'hériter les modèles de common.models.CommonModel à la place de common.models.Entity.

Entités périssables

Une entité périssable possède une durée de validité dans le temps, elle possède les mêmes fonctionnalités que l'entité mais possède en prime une date de début (start_date) et une date de fin potentielle (end_date).

Pour définir une entité périssable, il suffit de faire hériter le modèle de common.models.PerishableEntity au lieu de common.models.Entity. Il n'existe pas d'alternative simplifiée hors historisation des entités périssables.

Lorsqu'une entité périssable existante en base de données est sauvegardée, le mécanisme suivant s'exécute :

• si une date de fin est fournie, l'entité courante est modifiée et clôturée à cette date
• sans date de fin fournie, l'entité courante est clôturée à cette date et une autre entité avec les modifications est créée avec une date de début actualisée et sans date de fin programmée

Les entités périssables implémentent une fonction de récupération des données par rapport à une date donnée, si la date n'est pas fournie la requête récupérera toutes les entités qui sont valides par rapport à la date et heure courante.

adresses = Adresse.objects.filter(personne_id=1).select_valid(date='2016-08-01T00:00:00')

Administration

Afin de garantir les fonctionnalités de l'historisation dans l'interface d'administration, il est nécessaire de faire hériter les classes d'administration de common.admin.EntityAdmin qui permet les fonctionnalités suivantes :

• Gère automatiquement l'utilisateur connecté pour les modifications
• Affiche automatiquement la date de création et de modification et fournit les filtres de recherche
• Gère les permissions d'affichage
• Affiche les métadonnées de l'entité

Pour les entités périssables, il convient d'utiliser common.admin.PerishableEntityAdmin à la place de common.admin.EntityAdmin.

Pour les inlines, des équivalents pour les entités sont également à disposition : common.admin.EntityTabularInline et common.admin.EntityStackedInline.

Une version allégée existe pour common.models.CommonModel qui est common.admin.CommonAdmin qui implémente l'ensemble des fonctionnalités en dehors de l'historisation.

Historisation

Toute altération au niveau des données d'un modèle entité est détectée et enregistrée dans un historique, cela permet un suivi des modifications par utilisation ainsi que la possibilité de revenir à un état antérieur pour l'entité ou un champ spécifique de l'entité.

A chaque modification, un historique d'entité (common.models.History) est sauvegardé pour l'entité et un élément par champ modifié dans l'historique (common.models.HistoryField) uniquement s'il s'agit d'une modification.

• Les relations de type many-to-many sont traités séparément à l'historisation.
• Si Celery est installé (http://www.celeryproject.org/), l'historisation est exécutée de manière asynchrone.
• L'utilisateur à l'origine de la modification est conservé dans l'historique.
• Il est possible d'ajouter un message et/ou modifier l'utilisateur à l'historique via le code.

personne = Personne(nom='Marc', age=30)
personne.save(_current_user=utilisateur, _reason="Message d'information")

Il est possible sur un historique d'entité ou un historique de champ de demander une restauration des données de l'historique ciblé sur l'entité concernée grâce à la méthode restore(), il est possible de lui passer également un utilisateur et un message d'information.

La restauration provoque elle-même un historique spécifique qui permet de revenir en arrière si nécessaire.

history.restore(current_user=utilisateur, reason="Message d'information", rollback=False)
# rollback permet de regénérer complètement l'entité si elle a été supprimée

Métadonnées

Les métadonnées permettent d'ajouter des données tierces sur une entité, ces données peuvent être structurées comme l'utilisateur le souhaitera et seront stockées sous forme de JSON dans la base de données. Chaque entité possède des méthodes permettant d'accéder aux métadonnées de l'entité.

Les données stockées dans les métadonnées peuvent être de n'importe quel type Python à condition que ce dernier ainsi que les données qu'il contient éventuellement soient sérialisables (list, dict, int, float, etc...).

personne.set_metadata('cle', 'valeur')
personne.get_metadata('cle')
>>> 'valeur'
personne.del_metadata('cle')
personne.get_metadata('cle')
>>> None

Les métadonnées d'une entité peuvent être directement utilisées dans des requêtes même si ce n'est pas recommandé pour des raisons de performances (en fonction du volume de données). Elles sont représentées sous forme d'un modèle Django common.models.MetaData.

Personne.objects.filter(metadata__key='cle', metadata__value='valeur').first()
MetaData.objects.search(key='cle', value='valeur', type=Personne)

Sérialisation

Chaque entité ou requête concernant une entité peut être sérialisée en utilisant la méthode serialize(format='json') dans l'un des formats suivants:

• JSON
• XML
• YAML

personne = Personne.objects.first()
resultat = personne.serialize()
resultat
>>> [json] Personne (1)
resultat.data
>>> '[{"nom": "Marc", "age": 30}]'
personne = resultat.deserialize()
personne
>>> Personne: Marc (30 ans)

personnes = Personne.objects.all()
resultat = personnes.serialize()
resultat
>>> [json] Personne (2)
resultat.data
>>> '[{"nom": "Marc", "age": 30}, {"nom": "Eric", "age": 40}]'
personnes = resultat.deserialize()
personnes
>>> [Personne: Marc (30 ans), Personne: Eric (40 ans)]

Représentation en dictionnaire

Une requête ou une entité peut être représentée par un dictionnaire Python avec la méthode to_dict().

personne.to_dict()
>>> {"nom": "Marc", "age": 30}
Personne.objects.all().to_dict()
>>> [{"nom": "Marc", "age": 30}, {"nom": "Eric", "age": 40}]

to_dict() prend plusieurs arguments optionnels en paramètres, la méthode est documentée dans le code.

Type d'entité

Django conserve systématiquement le type des différents modèles en base de données, les entités possèdent un moyen simple pour récupérer ce type sur chaque entité de manière performante et unique.

Personne.get_model_type()
>>> <ContentType: Personne>
personne.model_type
>>> <ContentType: Personne>

WebHooks

Un webhook est un callback HTTP qui transmet des données à un serveur externe en fonction d'une action réalisée sur l'application. Le récepteur doit être en mesure de comprendre le message qui est transmis. Il est possible de configurer un webhook qui réagit à un ou plusieurs actions sur une ou plusieurs entités.

Les actions couvertes sont les suivantes :

• Création
• Modification
• Suppression
• Relations de type many-to-many

Un webhook peut être configuré pour utiliser une authentification sur le serveur externe si nécessaire.

Par défaut, le webhook exécute la méthode to_dict() sur l'instance concerné avec les paramètres définis dans NOTIFY_OPTIONS, mais il est possible de changer ce comportement en définissant une méthode get_webhook_data au niveau du modèle.

Les notifications des changements par webhook est désactivée par défaut et peut être activé via NOTIFY_CHANGES.

Usage de service

L'usage des services permet de compter le nombre de fois où une URL est appelée dans l'application par un même utilisateur et même de limiter le nombre d'usages.

La fonctionnalité est désactivée par défaut et peut être activée via SERVICE_USAGE. Il est également nécessaire d'ajouter 'common.middleware.ServiceUsageMiddleware' dans MIDDLEWARE_CLASSES.

Configuration :

• SERVICE_USAGE (False par défaut) : active ou non la surveillance
• SERVICE_USAGE_LOG_DATA (False par défaut) : suit également les données transmisses par les services
• SERVICE_USAGE_LIMIT_ONLY (False par défaut) : utilise uniquement le système de restriction des services

Métadonnées utilisateurs & groupes

De la même manière que sur les entités, les utilisateurs et les groupes ont la possibilité de conserver de l'information contextuelle sous forme de métadonnée, cependant le fonctionnement diffère car ces modèles peuvent être substitués dans le développement.

Il s'agit alors d'une relation de type one-to-one systématiquement présent à la création d'un nouvel utilisateur ou d'un nouveau groupe et possédant un champ de type JSON pour contenir ces données.

Utilitaires

Un grand nombre de fonctions, décorateurs et classes utilitaires sont à disposition des développeurs pour accélérer la production de nouvelles fonctionnalités. Ces utilitaires sont regroupés dans common.utils pour tout ce qui est relatif à Django et dans common.api.utils pour tout ce qui est relatif à Django REST Framework.

• singleton : décorateur permettant de transformer une classe en singleton
• get_current_app : permet de récupérer l'application Celery actuelle ou un mock si Celery n'est pas installé
• parsedate : permet d'évaluer une date dans n'importe quel format
• timeit : décorateur permettant de calculer le temps d'exécution d'une fonction
• synchronized : décorateur permettant de rendre thread-safe l'exécution d'une fonction
• temporary_upload : décorateur permettant à une vue de supporter l'import d'un fichier de manière temporaire
• download_file : décorateur permettant à une vue de supporter le téléchargement d'un fichier
• render_to : décorateur permettant de simplifier l'écriture d'une vue avec template
• ajax_request : décorateur permettant à une vue de se comporter comme une api_view
• evaluate : permet d'évaluer une expression Python de manière plus sûre
• execute : permet d'exécuter du code Python de manière plus sûre
• patch_settings : context manager permettant d'altérer la configuration le temps de l'exécution
• recursive_dict_product : permet de faire un produit cartésien des données d'un dictionnaire
• get_choices_fields : permet de récupérer les choix des modèles d'une ou plusieurs applications
• get_prefetchs : permet de récupérer toutes les relations inversées d'un modèle
• get_related : permet de récupérer toutes les relations ascendantes d'un modèle
• prefetch_generics : permet de récupérer les relations génériques d'un modèle
• str_to_bool : permet de convertir une chaîne de caractères quelconque en booléen
• decimal : permet de convertir un élément quelconque en nombre décimal
• decimal_to_str : permet de convertir un nombre décimal en chaîne de caractères
• recursive_get_urls : permet de récupérer toutes les URLs d'un module
• idict : dictionnaire donc les clés sont toujours converties dans un format uniforme
• sort_dict : permet de trier un dictionnaire par ses clés
• merge_dict : permet de fusionner un ou plusieurs dictionnaires imbriqués sur un autre
• null : objet nul absolu retournant toujours une valeur nulle sans erreur
• to_tuple : permet de convertir un dictionnaire en un tuple
• to_object : permet de convertir un dictionnaire en un objet Python
• get_size : permet de récupérer la taille en mémoire d'un objet Python quelconque
• file_is_text : permet de vérifier qu'un fichier est au format texte
• process_file : permet de s'assurer qu'un fichier est bien complet et décompresse les éventuelles archives
• base64_encode : permet d'encoder une chaîne de caractères en base 64
• base64_decode : permet de décoder une chaîne de caractères en base 64
• short_identifier : permet de générer un identifiant "unique" court
• json_encode : permet de sérialiser un objet Python en JSON
• json_decode : permet de désérialiser une chaîne de caractères JSON en objet Python
• get_current_user : permet de récupérer l'utilisateur actuellement connecté dans la pile d'exécution
• get_pk_field : permet de récupérer le champ de clé primaire d'un modèle en héritage concret
• collect_deleted_data : permet de récupérer les impacts potentiels d'une suppression d'entité
• send_mail : permet d'envoyer un email
• merge_validation_errors : permet de fusionner plusieurs exceptions de validation en une seule
• get_all_models : récupère tous les modèles enregistrés dans les applications
• get_all_permissions : récupère toutes les permissions existantes dans les applications
• get_models_from_queryset : recupère tous les modèles qui ont été traversés par une requête
• get_model_permissions : récupère toutes les permissions liées à un modèle et à un utilisateur
• get_client_ip : récupère l'adresse IP du client depuis une requête Django
• hash_file : calcule la somme de contrôle d'un fichier

Autres (common.admin)

• create_admin : permet de créer automatiquement les classes d'administration d'un modèle

Modèles

Les differents utilitaires de modèles sont définis dans common.models.

• CustomGenericForeignKey : champ générique qui ne vide pas les propriétés de la clé si l'instance n'existe pas
• CustomGenericRelation : relation d'une clé étrangère générique qui force la conversion de l'identifiant en texte
• MetaData : modèle des métadonnées associées aux entités
• CommonModel : modèle abstrait commun permettant d'accéder aux multiples utilitaires décrits précédemment
• Entity : modèle commun avec historisation des modifications
• PerishableEntity : même chose qu'Entity mais se duplicant en cas de modification
• History : modèle d'historique d'une entité
• HistoryField : modèle d'historique d'un champ d'une entité
• Global : modèle point d'entrée global des entités
• Webhook : modèle de configuration d'un webhook
• ServiceUsage : modèle d'un historique d'accès à une ressource du site (avec ou sans limitation)
• from_dict : construit une instance d'un modèle à partir d'un dictionnaire
• to_dict : appel générique transformant une instance de modèle en dictionnaire
• model_to_dict : transforme récursivement une instance de modèle en dictionnaire

Champs de modèles

Les champs de modèle sont définis dans common.fields.

• CustomDecimalField : champ décimal pour éviter la représentation scientifique des nombres
• PickleField : champ binaire pour contenir de la donnée Python brute
• JsonField : champ pour représenter des données JSON (compatible avec les autres SGBD)

Formulaires

Les utilitaires autour des formulaires sont définis dans common.forms. Chaque classe utilitaire pour les formulaires possède une interface de base, préfixée généralement Base pour d'autres implémentations.

• CommonForm : classe de base pour les formulaires avec gestion des historiques
• CommonFormSet : classe de base pour les ensembles de formulaires avec gestion des historiques
• CommonModelForm : classe de base pour représenter les formulaires issus d'entités
• CommonModelFormSet : classe de base pour représenter les ensembles de formulaires issus d'entités
• JsonField : champ de formulaire pour représenter les données JSON
• BaseFilterForm : classe de base pour faciliter la création de formulaires de recherche
• get_model_form : fonction permettant de créer un formulaire d'entité avec des imbrications

Django REST Framework

Usage

La boîte à outils vous permet de générer rapidement des APIs RESTful pour vos modèles de base de données en leur fournissant au passage le moyen de faire des requêtes plus évoluées via l'URL. Cette génération s'adresse principalement aux développeurs qui ont besoin d'accéder à toute la richesse de leurs modèles et de l'ORM Django via les APIs le plus rapidement possible sans avoir à configurer finement chaque ressource.

Configuration rapide

Dans votre application Django, créez un nouveau module et ajoutez ces quelques lignes :

from common.api.utils import create_api
from myapp.models import ModelA, ModelB

namespace = "myapp-api"
app_name = "myapp-api"
router, all_serializers, all_viewsets = create_api(ModelA, ModelB)
urlpatterns = [
    # Vos URLs d'API personnalisées    
] + router.urls
urls = (urlpatterns, namespace, app_name)

Cela a pour conséquence de créer automatiquement les APIs pour les modèles que vous souhaitez ainsi que la table de routage nécessaire pour accéder à ces ressources.

De nombreuses options de configuration existent pour vos APIs, vous pouvez par exemple définir précisément le serialiseur pour chaque modèle, configurer la récupération automatique des entités liées par clé étrangère (related) ou des relations de type plusieurs-à-plusieurs (prefetch) ou personnaliser les requêtes.

Pour configurer globalement et de manière homogène vos modèles, modifiez les paramètres dans common.api.base.

Guide d'utilisation rapide

Utilitaires

• to_model_serializer : décorateur permettant de convertir un sérialiseur classique en sérialiseur de modèle
• to_model_viewset : décorateur permettant d'associer un modèle et à un sérialiseur à une vue
• create_model_serializer_and_viewset : permet de créer en une fois le sérialiseur et la vue pour un modèle
• perishable_view : permet de gérer les données périssables d'une vue à travers l'URL
• api_view_with_serializer : décorateur permettant de créer une vue assujettie à un sérialiseur
• create_model_serializer : permet de créer un sérialiseur de modèle
• auto_view : décorateur permettant de créer une vue à partir d'un QuerySet
• api_paginate : permet d'ajouter une pagination sur le résultat d'une requête pour une vue
• create_api : permet de créer les APIs standards (RESTful) pour un ou plusieurs modèles
• disable_relation_fields : permet de désactiver les listes déroulantes pour les relations des APIs

Sérialiseurs (common.api.serializers)

• CommonModelSerializer : sérialiseur commun pour représenter les entités
• GenericFormSerializer : sérialiseur permettant l'imbrication d'entités pour les formulaires

Champs (common.api.fields)

• JsonField : champ permettant la gestion des données JSON
• AsymetricRelatedField : champ permettant l'affichage de l'ensemble des données des entités de clés étrangères mais accepte néanmoins un simple identifiant à la création/modification
• CustomHyperlinkedField : champ permettant de gérer les liens vers d'autres APIs en permettant de croiser les différents namespaces (utilisé par défaut par les utilitaires)

Pagination (common.api.pagination)

• CustomPageNumberPagination : pagination améliorée pour les APIs (doit être défini dans DEFAULT_PAGINATION_CLASS de REST_FRAMEWORK)

Rendu (common.api.renderers)

• CustomCSVRenderer : rendu CSV amélioré avec téléchargement (uniquement si django-rest-framework-csv est installé, doit être défini dans DEFAULT_RENDERER_CLASSES de REST_FRAMEWORK)

Tests (common.tests)

• BaseApiTestCase : classe de base pour les tests unitaires des APIs
• AuthenticatedBaseApiTestCase : classe de base pour les tests unitaires des APIs avec authentification
• create_api_test_class : fonction pour générer tous les tests d'une API standard (RESTful)