NeuralNetworks 0.2.3

Multi-Layer Perceptrons with multi-Fourier encoding, variable learning rate, visualization and PyTorch compilation

NeuralNetworks Module

Module complet pour la création et l'entraînement de MultiLayer Perceptrons (MLP)
avec encodage optionnel Fourier Features et gestion automatique des pertes.

---

Contenu principal

Classes

MLP {#MLP}

Cette classe fournit :

• Un MLP entièrement configurable (dimensions, activation).
• Option d'encodage Fourier Features sur les entrées.

---

Paramètres

Paramètres	Type	Optionnel	Description
input_size	int	Oui	Taille des données en entrée au réseau. Default: 1
output_size	int	Oui	Taille des données en sortie au réseau. Default: 1
hidden_layers	list[int]	Oui	Dimensions successives des couches intermédiaires du réseau. Default: [1]
sigmas	list[float]	Oui	Liste de sigma pour encodages RFF. Si None : passthrough. Default: None
fourier_input_size	int	Oui	WIP. Default: 2
nb_fourier	int	Oui	Nombre de fréquences utilisées pour les Fourier Features. Default: 8
norm	norm	Oui	Type de normalisation / activation pour les couches cachées. Default: 'Relu'
name	str	Oui	Nom du réseau pour identification ou affichage. Default: 'Net'

Attributs

• losses : list[float] — Historique des pertes cumulées lors de l'entraînement
• learnings : list[float] — Historique des taux d'apprentissage utilisées lors de l'entraînement
• model : nn.Sequential — MLP complet construit dynamiquement
• name : str — Nom du réseau

---

Trainer

Cette classe fournit :

• Méthode pour entraîner des réseaux avec mini-batchs et Automatic Mixed Precision

Paramètres

Paramètres	Type	Optionnel	Description
*nets	MLP	Non	Réseaux pour lesquels le trainer va entrainer.
inputs	numpy.array(list[float])	Non	Données en entrée au réseau.
outputs	numpy.array(list[float])	Non	Données en sortie au réseau.
test_size	float	Oui	Proportion des données à utiliser pendant l'entrainement. Si None : utilise toutes les données. Default: None
optim	optim	Oui	Nom de l’optimiseur à utiliser (doit exister dans optims()). Default: 'Adam'
init_lr	float	Oui	Taux d’apprentissage initial pour l’optimiseur. Default: 1e-3
crit	crit	Oui	Fonction de perte à utiliser (doit exister dans crits()). Default: MSE'
batch_size	int	Oui	Taille des minibatchs. Default: 1024

Trainer.train

Lancement d'un entrainement avec le trainer définit

Paramètres	Type	Optionnel	Description
num_epochs	int	Oui	Nombres d'itérations à effectuer.
activate_tqdm	boolean	Oui	Utilisation d'une barre de progression.

---

Dictionnaires

norms() {#norms}

Valeurs	Module PyTorch	Description
'ReLU'	nn.ReLU()	Fonction d'activation ReLU classique (Rectified Linear Unit).
'LeakyReLU'	nn.LeakyReLU()	ReLU avec un petit coefficient pour les valeurs négatives (paramètre negative_slope).
'ELU'	nn.ELU()	Fonction d'activation ELU (Exponential Linear Unit), qui a une meilleure gestion des valeurs négatives.
'SELU'	nn.SELU()	SELU (Scaled Exponential Linear Unit), une version améliorée de l'ELU pour des réseaux auto-normalisants.
'GELU'	nn.GELU()	GELU (Gaussian Error Linear Unit), une activation probabiliste basée sur une fonction gaussienne.
'Mish'	nn.Mish()	ReLU différentiable en tout points avec passage négatif.
'Softplus'	nn.Softplus()	Fonction d'activation qui approxime ReLU mais de manière lissée.
'Sigmoid'	nn.Sigmoid()	Fonction d'activation Sigmoid, qui produit une sortie entre 0 et 1.
'Tanh'	nn.Tanh()	Fonction d'activation Tanh, avec une sortie dans l'intervalle [-1, 1].
'Hardtanh'	nn.Hardtanh()	Variante de Tanh, avec des sorties limitées entre une plage spécifiée.
'Softsign'	nn.Softsign()	Fonction d'activation similaire à Tanh mais plus souple, avec des valeurs dans [-1, 1].

crits() {#crits}

Valeurs	Module PyTorch	Description
'MSE'	nn.MSELoss	Perte utilisée pour les régressions.
'L1'	nn.L1Loss()	Perte utilisée pour la régularisation.
'SmoothL1'	nn.SmoothL1Loss()	Perte moins sensible aux outliers.
'Huber'	nn.HuberLoss()	Perte moins affectée par les grands écarts.
'CrossEntropy'	nn.CrossEntropyLoss()	Perte utilisée pour les problèmes de classification multi-classes.
'KLDiv'	nn.KLDivLoss()	Perte utilisée pour des modèles probabilistes.
'PoissonNLL'	nn.PoissonNLLLoss()	Perte utilisée pour la modélisation de comptages.
'MultiLabelSoftMargin'	nn.MultiLabelSoftMarginLoss()	Perte utilisée pour les problèmes de classification multi-étiquettes.

optims() {#optims}

Valeurs	Module PyTorch	Description
'Adadelta'	optim.Adadelta()	Optimiseur basé sur les gradients adaptatifs, sans nécessité de réglage du taux d'apprentissage.
'Adafactor'	optim.Adafactor()	Optimiseur variant d'Adam avec une mise à jour plus efficace de la mémoire pour de grands modèles.
'Adam'	optim.Adam()	Optimiseur utilisant un gradient stochastique adaptatif avec des moyennes mobiles des gradients.
'AdamW'	optim.AdamW()	Optimiseur avec une régularisation L2 (weight decay) distincte.
'Adamax'	optim.Adamax()	Optimiseur utilisant une norme infinie pour les gradients, plus stable pour certaines configurations.
'ASGD'	optim.ASGD()	Optimiseur utilisé pour de grandes données avec une moyenne des gradients.
'NAdam'	optim.NAdam()	Optimiseur avec une adaptation des moments de second ordre.
'RAdam'	optim.RAdam()	Optimiseur qui ajuste dynamiquement les moments pour stabiliser l'entraînement.
'RMSprop'	optim.RMSprop()	Optimiseur utilisant une moyenne mobile des carrés des gradients pour réduire les oscillations.
'Rprop'	optim.Rprop()	Optimiseur basé sur les mises à jour des poids indépendantes des gradients.
'SGD'	optim.SGD()	Optimiseur souvent utilisée avec un taux d'apprentissage constant ou ajusté.

---

device

variable principale d'allocation des performances

Apple Silicon (macOS)

• Si le système d'exploitation est macOS (nommé darwin dans platform.system()), la fonction vérifie si l'accélérateur Metal Performance Shaders (MPS) est disponible sur l'appareil.
  • Si MPS est disponible (torch.backends.mps.is_available()), l'appareil cible sera défini sur 'MPS' (c'est un équivalent de CUDA pour les appareils Apple Silicon).

Windows

• Si le système d'exploitation est Windows, la fonction vérifie d'abord si CUDA (NVIDIA) est disponible avec torch.cuda.is_available(). Si c'est le cas, le périphérique sera défini sur CUDA.

Linux

• Si le système d'exploitation est Linux, plusieurs vérifications sont effectuées :
  1. CUDA (NVIDIA) : Si torch.cuda.is_available() renvoie True, le périphérique sera défini sur 'CUDA'.
  2. ROCm (AMD) : Si le système supporte ROCm via torch.backends.hip.is_available(), l'appareil sera défini sur 'CUDA' (ROCm est utilisé pour les cartes AMD dans le cadre de l'API CUDA).
  3. Intel oneAPI / XPU : Si le système prend en charge Intel oneAPI ou XPU via torch.xpu.is_available(), le périphérique sera défini sur XPU.

Système non reconnu

• Si aucune des conditions ci-dessus n'est remplie, la fonction retourne 'CPU' comme périphérique par défaut.

---