- Les réseaux de neurones
- Les matrices : quelques rappels
- Droites de régression
- Listes de matrices
- Calcul par CPU / GPU / TPU
- Calcul d’erreur
- Un réseau de neurones est considéré « fully connected » lorsque toute entrée est relié par une arête appelé « poids » et représenté par « wi,j » à l’intégralité des neurones présents dans les couches cachées.
Sortie du Neurone = X1W1,1 + X2W2,1 + B1 = Régression lineaire
Pour calculer la valeur d’un neurone, il faut effectuer la somme des connexions entrantes :
Neurone 1 = X1W1,1 + X2W2,1 + B1
Neurone 2 = X1W1,2 + X2W2,2 + B2
- Présente à la sortie du neurone.
- Elle répond à trois exigences:
- Non linéaire -> Pour modéliser des fonctions complexes
- Différentielle -> Pour permettre la retro-propagation de l'erreur
- Monotonique -> Pour éviter de rajouter des minimums locaux
-
Généralités :
- L'addition des matrices est définie pour deux matrices de même type.
-
La somme de deux matrices de type (m, n), est obtenue en additionnant les éléments correspondants.
- La multiplication des matrices n'est pas commutative, c'est-à-dire que A•B n'est pas égal à B•A.
À l’avenir, nous aurons seulement besoin de connaître le produit d’une matrice de type (1,2) et d’une matrice de type (2,2).
[!] Produit matriciel ≠ multiplication de matrice
-
Désigne un modèle dans lesquels est la médiane conditionnelle de « y » sachant « x ».
-
Le modèle de régression linéaire est souvent estimé par la méthode des moindres carrés mais il existe aussi de nombreuses autres méthodes pour estimer ce modèle.
Ce schéma représente ainsi la fonction d’activation
- La fonction d’activation est une fonction mathématique appliquée à un signal en sortie d'un neurone artificiel. Soit dans notre cas à la droite de régression linéaire.
- Une matrice est une liste de listes, une liste est une liste de vecteurs, un vecteur est une liste de chiffres.
|
Détails image : **- Dimensions :** 1280 x 768 **- Caractéristiques :** En couleurs (3 dimensions) |  |
- Avantages :
- Accélération via GPU des applications
https://www.youtube.com/watch?v=-P28LKWTzrI
- Le TPU (Tensor Processor Unit) est un module hardware dédié spécifiquement aux applications de Machine Learning
## Calcul d'erreur
- A chaque itération, l'algorithme va calculer un indicateur de performance globale (l'erreur qu'il commet) en comparant la sortie attendue et la sortie prédite.
- Le batch représente le panel d'images qui serviront à entraîner notre système.
Dans le cas d'un entraînement de modèle, le batch est répartie de la façon suivante :
- Représente la taille du « pas » en avant, effectué par le système, pour atteindre le point d’apprentissage le plus efficient
- Le minimum local est point dans une zone où le système établit qu’il ne peut semble pense avoir obtenu la meilleure précision mais ne l’est effectivement pas sur la courbe de précision de classification.
La fonction sigmoïde représente la fonction de répartition, qui est une mesure de probabilité. [Schéma]
- Le vanishing gradients est une perte (ou fuite) d'information sur l'erreur, affectant les neurones plus profond.
- L’overfitting (ou surapprentissage) est une étape où le système est arrivé à reconnaitre quasi-seulement les images sur lesquelles il a été entrainé et une variation de lumière ou de milieu peut l’induire à ne pas reconnaitre l’objet.
- La validation croisée (cross-validation) est une méthode d’estimation de fiabilité d'un modèle fondé sur une technique d'échantillonnage. Cela sert à comparer la pertinence d'un modèle par rapport à un autre.
- Une architecture de réseau de neurones convolutifs est formée par un empilement de couches de traitement, il en existe 5 :
- la couche de convolution (CONV)
- la couche de pooling (POOL)
- la couche d'activation
- la couche « entièrement connectée » (FC)
- Les convolutions consistent en un empilage multicouche d'algorithme, dont le but est de pré-traiter de petites quantités d'informations.
- Le pooling (« mise en commun »), est une forme de sous-échantillonnage de l'image.
[ ! ] Il existe plusieurs méthodes afin de réduire la taille spatiale d'une image concernant le pooling :
- Average pooling
- Max-pooling
- L2-norm pooling
- Stocastic pooling
- Le max-pooling permet une réduction de la taille de la représentation en gardant seulement la plus grande valeur des tuiles dans le filtre.
Ici, nous avons un filtre de 2 x 2, avec un pas de 2
MomentTech SAS
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License