Entraînement des réseaux de neurones : difficultés et choix pratiques
CSI4506 Introduction à l’intelligence artificielle
Important
Échéance : Le devoir 3 doit être soumis au plus tard le 16 novembre 2026 à 23 heures. Veuillez consulter l’énoncé du devoir disponible sur Brightspace.
Participer
S’exercer
- Paysages de perte et descente de gradient : explorer les points initiaux, les régions plates, les minima locaux et l’écrêtage des gradients.
- Régularisation : réduction des coefficients et parcimonie : comparer les vrais coefficients, les moindres carrés ordinaires, Ridge et Lasso.
- Oubli catastrophique sur MNIST : entraîner sur deux groupes disjoints de chiffres, mesurer la rétention et comparer une stratégie de rejeu d’exemples.
- Régularisation avec attributs corrélés : exemple avancé complémentaire, en anglais, avec de nombreux prédicteurs corrélés.