Laboratoire de recherche CBLL

Un EBM associe une valeur d'énergie à chaque configuration d'un ensemble de variables, au lieu d'une probabilité normalisée comme dans un modèle graphique probabiliste standard. Faire une prédiction (une inférence) signifie trouver la configuration avec la plus basse énergie, et entraîner un EBM signifie façonner la surface d'énergie de sorte que les configurations souhaitées se situent à basse énergie et celles non souhaitées à une énergie plus élevée, guidé par une fonction de perte conçue à cet effet.

Les tutoriels de la page incluent "Un tutoriel sur l'apprentissage basé sur l'énergie", donné lors de l'école d'été CIAR 2006 à l'Université de Toronto, avec des diapositives en DjVu et PDF ; un tutoriel en 4 parties de l'école d'été IPAM 2005 à UCLA, avec des vidéos en streaming et des diapositives couvrant une introduction aux EBM, aux architectures et aux fonctions de perte, aux réseaux convolutionnels pour la reconnaissance d'images invariantes, et aux métriques de dissimilarité entraînables, à la segmentation, à l'étiquetage de séquences et aux réseaux de transformateurs de graphes ; et une conférence sur les fonctions de perte pour les EBM avec des sorties structurées lors d'un atelier NIPS 2004. Les publications liées incluent le tutoriel de 60 pages "Un tutoriel sur l'apprentissage basé sur l'énergie" (Bakir et al., 2006), "Fonctions de perte pour l'entraînement discriminatif des modèles basés sur l'énergie" (LeCun et Huang, 2005), et "Détection synergique de visages et estimation de pose" (Osadchy, Miller et LeCun, NIPS 2004), qui applique la méthodologie EBM et une fonction de perte contrastive pour détecter des visages et estimer leur pose simultanément. La page comprend également des démonstrations animées qui visualisent comment différentes fonctions de perte façonnent la surface d'énergie d'un EBM sur une tâche d'exemple simple.

Cette ressource est destinée aux étudiants diplômés et aux chercheurs étudiant la théorie de l'apprentissage automatique, en particulier les modèles basés sur l'énergie et les modèles à sorties structurées, plutôt qu'aux développeurs à la recherche d'un outil téléchargeable. Toutes les diapositives, vidéos et articles liés sont librement accessibles sur la page.