Long Short-Term Memory : réseaux à mémoire longue

Long Short-Term Memory (LSTM), en français mémoire longue à court terme, est une méthode permettant d’entraîner les réseaux neuronaux et de stocker des informations importantes sur le long terme. Cette technique utilise à la fois une mémoire à court terme et une mémoire à long terme. Elle est essentielle pour le développement de l’intelligence artificielle.

La Long Short-Term Memory (LSTM), c’est quoi ?

La Long Short-Term Memory (LSTM) est une technique issue de l’informatique, utilisée pour stocker des informations au sein d’un réseau neuronal sur une longue période. Cette technique est particulièrement importante pour le traitement de données séquentielles. Grâce à la mémoire longue à court terme, le réseau peut se référer à des événements antérieurs et en tenir compte pour de nouveaux calculs. Il se distingue ainsi des Recurrent Neural Networks (RNN) ou peut les compléter de manière idéale. Au lieu d’une simple « mémoire à court terme », la LSTM dispose d’une « mémoire à long terme » supplémentaire, qui permet de stocker des informations sélectionnées sur une période prolongée.

Les réseaux avec Long Short-Term Memory peuvent donc conserver des informations sur de longues périodes et reconnaître ainsi les dépendances à long terme. Ceci est particulièrement important dans le domaine du Deep Learning et de l’IA. La base de ce mécanisme repose sur les portes, ou gates, dont nous vous expliquons le fonctionnement plus en détail dans la suite de cet article. Ces réseaux fournissent des modèles efficaces pour la prévision et le traitement sur la base de données de séries temporelles.

Quels sont les éléments qui composent une cellule LSTM ?

Une cellule dotée de Long Short-Term Memory est composée de différents éléments qui offrent plusieurs options au réseau. Celui-ci doit être capable de stocker des informations sur une longue période et de les associer à de nouvelles informations en cas de besoin. Il est également essentiel que la cellule puisse supprimer de manière autonome les informations obsolètes ou non pertinentes de sa « mémoire ». C’est pourquoi elle se compose de quatre composants différents :

• Input gate : la porte d’entrée décide de la manière dont les nouvelles informations seront intégrées dans la mémoire.
• Forget gate : la « porte de l’oubli » détermine quelles informations doivent être conservées dans la cellule et lesquelles doivent en être retirées.
• Output gate : la porte de sortie détermine comment les valeurs d’une cellule sont émises. Cette décision se base sur l’état actuel et les informations d’entrée correspondantes.

Le quatrième composant est l’intérieur de la cellule. Celui-ci est soumis à sa propre logique de connexion qui régit l’interaction des autres composants ainsi que la gestion des flux d’informations et des opérations de stockage.

Comment fonctionne la Long Short-Term Memory ?

Tout comme le Recurrent Neural Network ou le Feedforward Neural Network (FNN), plus simple, les cellules dotées d’une Long Short-Term Memory agissent en couches. Cependant, contrairement aux autres réseaux, elles stockent des informations sur de longues périodes et peuvent les traiter ou les rappeler ultérieurement. Pour ce faire, chaque cellule LSTM utilise les trois portes mentionnées ci-dessus, ainsi qu’une sorte de mémoire à court terme et une mémoire à long terme.

• La mémoire à court terme, c’est-à-dire l’endroit où les informations des étapes de calcul précédentes sont temporairement stockées, est également utilisée dans d’autres types de réseaux. Dans le domaine de la LSTM, cette mémoire à court terme est appelée hidden state (état caché). Contrairement à d’autres réseaux, une cellule LSTM peut également conserver des informations à long terme, stockées dans ce que l’on appelle le cell state (état de la cellule). Les nouvelles informations passent ensuite par les trois portes.
• Dans l’input gate, l’entrée actuelle est multipliée par le* hidden state et par la pondération du dernier passage. Cela permet à la porte d’entrée de déterminer la valeur de la nouvelle entrée. Les informations importantes sont alors ajoutées au cell state précédent pour former le nouveau cell state*.
• Dans la forget gate, il est décidé quelles informations doivent être conservées et lesquelles doivent être supprimées. Cette décision prend en compte le dernier* hidden state *et l’entrée actuelle. À l’aide d’une fonction sigmoïde (fonction en forme de S), qui génère des valeurs comprises entre 0 et 1, cette décision est prise. Les valeurs proches de 0 indiquent que l’information doit être oubliée, tandis que celles proches de 1 suggèrent de la conserver. Le résultat est multiplié par l’état de la cellule actuel (cell state). Les valeurs avec 0 sont donc éliminées.
• La sortie finale est alors calculée dans l’output gate. Pour cela, on utilise le* hidden state* et la fonction sigmoïde. Ensuite, l’état de la cellule est activé et multiplié par une fonction tanh (tangente hyperbolique) afin de déterminer quelles informations doivent passer par la porte de sortie.

Quelles sont les différentes architectures ?

Alors que ce mode de fonctionnement est similaire pour tous les réseaux utilisant la Long Short-Term Memory, des différences parfois importantes existent dans l’architecture des variantes LSTM. Les LSTM peephole, par exemple, sont largement répandus et doivent leur nom au fait que les différentes* gates peuvent consulter l’état de la cellule correspondante. Le terme « peephole *» signifie « judas » ou « trou de serrure ». Lespeephole LSTM convolutifs sont une alternative qui utilise, en plus d’une multiplication matricielle, une convolution discrète pour calculer l’activité d’un neurone.

Quels sont les principaux domaines d’application de la Long Short-Term Memory ?

De nombreuses applications reposent désormais entièrement ou partiellement sur des réseaux neuronaux utilisant la LSTM. Les domaines d’application sont variés et multiples. Cette technologie apporte une contribution précieuse dans les secteurs suivants :

• Génération automatique de textes
• Analyse des données de séries temporelles
• Reconnaissance vocale
• Prévision des tendances boursières
• Composition musicale

La Long Short-Term Memory est également utilisée pour identifier les anomalies, par exemple lors de tentatives de fraude ou d’attaques sur des réseaux. Les applications adaptées peuvent également recommander des médias tels que des films, des séries, des groupes ou des livres en se basant sur les données des utilisateurs, ou analyser des vidéos, images ou chansons. Cela permet non seulement d’augmenter la sécurité, mais aussi de réduire considérablement les efforts.

De nombreux grands groupes utilisent la mémoire à long terme pour leurs services et leurs produits. Google, par exemple, utilise des réseaux de ce type pour ses systèmes d’assistance intelligents, le programme de traduction Google Translate, le logiciel de jeu AlphaGo ou la reconnaissance vocale dans les smartphones. Les assistants vocaux Siri (Apple) et Alexa (Amazon) reposent également sur la Long Short-Term Memory, tout comme la fonction de saisie prédictive du clavier d’Apple.