Transfer Learning : utiliser des modèles pré-entrainés pour de nouvelles tâches

Le Transfer Learning, également appelé l’apprentissage par transfert en français, est une approche qui consiste à utiliser un modèle pré-entraîné et à l’adapter à une nouvelle tâche, qu’elle soit similaire ou non. Cette méthode permet d’économiser du temps et des ressources et d’améliorer les performances des modèles de Machine Learning. Il existe différentes stratégies pour adapter les modèles pré-entraînés à une nouvelle tâche.

Qu’est-ce que le Transfer Learning ?

Le Transfer Learning est une méthode du domaine du Machine Learning qui consiste à optimiser un modèle pré-entraîné pour une nouvelle tâche similaire. Ainsi, au lieu de former un nouveau modèle de A à Z pour une tâche spécifique, on utilise les connaissances déjà acquises. Quelques ajustements suffisent à adapter le modèle initial aux nouvelles caractéristiques afin qu’il puisse être utilisé pour une autre tâche. L’utilisation d’un modèle déjà existant économise du temps et des ressources, car la quantité de données nécessaires à l’entraînement est nettement moins importante. La méthode est donc plus efficace et plus performante.

Comment fonctionne le Transfer Learning ?

Le Transfer Learning consiste à prendre un modèle qui a déjà été entièrement entraîné pour une tâche donnée et à l’appliquer à une nouvelle tâche similaire. Cela fonctionne particulièrement bien avec des données non structurées, comme du texte, des images ou des vidéos. Un modèle entraîné à reconnaître des images de voitures peut être ajusté pour identifier d’autres types de véhicules, comme des camions. De nombreuses caractéristiques des deux groupes, comme les roues, les portes ou la forme générale, peuvent être reprises.

Choisir un modèle entraîné

Comme point de départ, vous avez besoin d’un modèle entraîné. Celui-ci est formé à l’aide d’un ensemble de données très complet et d’exemples marqués. Le modèle reconnaît peu à peu des motifs et des relations dans les données et apprend ainsi à accomplir la tâche prévue. Dans le domaine du Machine Learning, on parle de couches qui sont reliées entre elles et permettent d’effectuer des calculs. Plus un modèle a de couches, plus il peut apprendre des représentations complexes.

Pour l’apprentissage par transfert, vous choisissez un modèle ayant déjà franchi ces étapes avec succès. Pour ce faire, il vaut la peine de regarder attentivement la tâche source d’un modèle existant. Plus cette tâche est proche de la nouvelle, plus le transfert sera facile.

Reconfigurer le modèle et l’entraîner

La deuxième étape consiste à configurer le modèle déjà pré-entraîné pour la nouvelle tâche. Il existe deux méthodes pour cela : vous pouvez choisir celle qui convient le mieux à vos besoins.

La première méthode consiste à remplacer la dernière couche du modèle initial formé. Cette couche est également appelée « couche de sortie ». Elle sert d’unité de classification finale, c’est-à-dire qu’elle évalue si un fichier répond ou non aux paramètres définis. Dans notre exemple, cela signifie que cette couche décide si l’image présentée représente une voiture. Dans de nombreux cas d’application, vous pouvez supprimer cette couche et en insérer une nouvelle à sa place, adaptée à votre utilisation. Dans notre exemple, elle identifierait donc les camions.

Dans le cadre du Transfer Learning, il est également possible de geler les paramètres existants et d’ajouter de nouvelles couches en remplacement. Cette technique, appelée Fine-Tuning, consiste à réentraîner uniquement certaines couches du modèle pour les adapter à la nouvelle tâche. Ces nouvelles couches sont ajustées et intégrées de manière spécifique à l’orientation souhaitée. Ensuite, le modèle est entraîné sur un ensemble de données plus restreint, contenant des exemples représentatifs. Il apprend ainsi à reconnaître de nouveaux motifs et relations tout en s’appuyant sur les connaissances acquises lors de son entraînement initial.

Vérifier les progrès

La dernière étape est essentielle : un suivi rigoureux, accompagné d’ajustements si nécessaire, permet d’optimiser le matériel d’entraînement et, le cas échéant, d’adapter les nouvelles couches. Ce processus garantit que le modèle d’intelligence artificielle s’ajuste efficacement à la nouvelle tâche. En ajustant les paramètres durant l’entraînement, la précision des résultats s’améliore progressivement, et l’intelligence artificielle affine sa capacité à répondre aux nouvelles exigences.

Stratégies d’utilisation du Transfer Learning

Il existe différentes stratégies pour l’utilisation de l’apprentissage par transfert. Celle qui vous convient le mieux dépend avant tout de l’utilisation que vous souhaitez en faire. Voici quelques approches :

• Extraction de caractéristiques : dans le cas de l’extraction de caractéristiques, vous utilisez le modèle préalablement formé comme facteur fixe pour les caractéristiques de base telles que les textures. Les nouvelles couches sont ensuite utilisées pour identifier des caractéristiques particulières. Cette application est utile lorsque la source et la cible se recoupent largement.
• Apprentissage par transfert inductif : dans ce cas, le domaine source et le domaine cible sont identiques, mais les tâches source et cible diffèrent. De nouvelles fonctions peuvent ainsi être apprises plus rapidement.
• Apprentissage par transfert transductif : dans cette stratégie, les connaissances acquises dans la tâche source sont directement transférées à certaines instances de la nouvelle tâche, afin de pouvoir mieux les classer, par exemple. Cette approche est prometteuse lorsque les tâches source et cible présentent comparativement peu de points communs.
• Apprentissage par transfert non surveillé : ici, les domaines source et cible sont similaires et les tâches respectives sont différentes. Toutefois, les données ne sont pas étiquetées. Le modèle apprend alors les différences et les points communs des données non étiquetées et peut les généraliser.
• Multitasking : dans l’approche multitâche, un modèle exécute simultanément plusieurs tâches qui ne sont pas identiques, mais qui ont un lien entre elles. Cela permet de partager les connaissances.
• Prédiction : dans cette forme de Transfer Learning, le modèle doit compléter lui-même certains aspects manquants des données. Par exemple, les mots d’une phrase sont prédits. Un ajustement précis doit permettre d’améliorer les résultats.
• Zero-Shot et Few-Shot : il s’agit là aussi d’une forme de Transfer Learning du domaine de l’IA générative, dans laquelle les connaissances d’une source doivent être transférées à une cible lorsqu’il n’existe que peu de chevauchements (Few-Shot) ou aucun chevauchement (Zero-Shot) entre les deux. Cette méthode est utilisée lorsque très peu de données d’entraînement sont disponibles.
• Désenchevêtrement : pour cette approche, les données sont divisées en différents facteurs. Le modèle peut alors considérer et manipuler séparément le style et le contenu, par exemple.

Quels sont les domaines d’application du Transfer Learning ?

Il existe de nombreux domaines d’application possibles pour le Transfer Learning. Cette méthode permet d’économiser des coûts, du temps et des ressources et présente donc de nombreux avantages. Les principaux domaines d’application à ce jour sont :

• la reconnaissance d’images
• la reconnaissance vocale
• la localisation d’objets
• le diagnostic dans le domaine de la santé.

Il est fort probable qu’à l’avenir, le Transfer Learning sera utilisé dans de nombreux autres domaines.