Modèles à base d’énergie

Les modèles à base d'énergies (EBMs en anglais Energy-based models) sont un cadre pour la définition des modèles d'apprentissage profond, qui permet de définir des modèles supervisés, non supervisés et autosupervisés. Il souligne les limites des réseaux à propagation avant pour certains types de calculs et problèmes. Les modèles à base d’énergie (EBMs) sont présentés comme offrant un meilleur cadre pour modéliser les modalités, notamment dans les domaines continus à haute dimension comme les images^[1].

Cadre théorique[modifier | modifier le code]

Introduction[modifier | modifier le code]

Problème[modifier | modifier le code]

L'approche des modèles à base d'énergie consiste à prédire si une paire de $(x,y)$ s'assemble ou non, plutôt que de classer $x$ en $y$ .

Pour cela, on définit une fonction énergie $F(x,y)$ qui décrit le niveau de dépendance entre les paires $(x,y)$ . L'inférence est donnée par l'équation ${\tilde {y}}=argmin_{y}\{F(x,y)\}$ ^[1].

Solution[modifier | modifier le code]

Pour trouver des $y$ compatibles, on utilise la descente de gradient ou un autre algorithme d'optimisation pour rechercher une fonction d'énergie lisse et différenciable.^{[note 1]}

Variables latentes[modifier | modifier le code]

Les modèles à base d'énergie peuvent comporter une variable latente $y$ est utilisée pour capturer des informations cachées ou latentes dans les données d'entrée qui ne sont pas directement observables.

Notes et Références[modifier | modifier le code]

Notes[modifier | modifier le code]

↑ Les modèles graphiques sont un cas particulier des EBMs, où la fonction d'énergie se décompose en une somme de termes d'énergie, avec des algorithmes d'inférence efficaces pour trouver le minimum.