Long Short-Term Memory : réseaux à mémoire longue

Long Short-Term Memory (LSTM), en français mémoire longue à court terme, est une méthode per­met­tant d’entraîner les réseaux neuronaux et de stocker des in­for­ma­tions im­por­tantes sur le long terme. Cette technique utilise à la fois une mémoire à court terme et une mémoire à long terme. Elle est es­sen­tielle pour le dé­ve­lop­pe­ment de l’in­tel­li­gence ar­ti­fi­cielle.

La Long Short-Term Memory (LSTM), c’est quoi ?

La Long Short-Term Memory (LSTM) est une technique issue de l’in­for­ma­tique, utilisée pour stocker des in­for­ma­tions au sein d’un réseau neuronal sur une longue période. Cette technique est par­ti­cu­liè­re­ment im­por­tante pour le trai­te­ment de données sé­quen­tielles. Grâce à la mémoire longue à court terme, le réseau peut se référer à des évé­ne­ments an­té­rieurs et en tenir compte pour de nouveaux calculs. Il se distingue ainsi des Recurrent Neural Networks (RNN) ou peut les compléter de manière idéale. Au lieu d’une simple « mémoire à court terme », la LSTM dispose d’une « mémoire à long terme » sup­plé­men­taire, qui permet de stocker des in­for­ma­tions sé­lec­tion­nées sur une période prolongée.

Les réseaux avec Long Short-Term Memory peuvent donc conserver des in­for­ma­tions sur de longues périodes et re­con­naître ainsi les dé­pen­dances à long terme. Ceci est par­ti­cu­liè­re­ment important dans le domaine du Deep Learning et de l’IA. La base de ce mécanisme repose sur les portes, ou gates, dont nous vous ex­pli­quons le fonc­tion­ne­ment plus en détail dans la suite de cet article. Ces réseaux four­nis­sent des modèles efficaces pour la prévision et le trai­te­ment sur la base de données de séries tem­po­relles.

Quels sont les éléments qui composent une cellule LSTM ?

Une cellule dotée de Long Short-Term Memory est composée de dif­fé­rents éléments qui offrent plusieurs options au réseau. Celui-ci doit être capable de stocker des in­for­ma­tions sur une longue période et de les associer à de nouvelles in­for­ma­tions en cas de besoin. Il est également essentiel que la cellule puisse supprimer de manière autonome les in­for­ma­tions obsolètes ou non per­ti­nentes de sa « mémoire ». C’est pourquoi elle se compose de quatre com­po­sants dif­fé­rents :

• Input gate : la porte d’entrée décide de la manière dont les nouvelles in­for­ma­tions seront intégrées dans la mémoire.
• Forget gate : la « porte de l’oubli » détermine quelles in­for­ma­tions doivent être con­ser­vées dans la cellule et les­quelles doivent en être retirées.
• Output gate : la porte de sortie détermine comment les valeurs d’une cellule sont émises. Cette décision se base sur l’état actuel et les in­for­ma­tions d’entrée cor­res­pon­dantes.

Le quatrième composant est l’intérieur de la cellule. Celui-ci est soumis à sa propre logique de connexion qui régit l’in­te­rac­tion des autres com­po­sants ainsi que la gestion des flux d’in­for­ma­tions et des opé­ra­tions de stockage.

Comment fonc­tionne la Long Short-Term Memory ?

Tout comme le Recurrent Neural Network ou le Feed­for­ward Neural Network (FNN), plus simple, les cellules dotées d’une Long Short-Term Memory agissent en couches. Cependant, con­trai­re­ment aux autres réseaux, elles stockent des in­for­ma­tions sur de longues périodes et peuvent les traiter ou les rappeler ul­té­rieu­re­ment. Pour ce faire, chaque cellule LSTM utilise les trois portes men­tion­nées ci-dessus, ainsi qu’une sorte de mémoire à court terme et une mémoire à long terme.

• La mémoire à court terme, c’est-à-dire l’endroit où les in­for­ma­tions des étapes de calcul pré­cé­dentes sont tem­po­rai­re­ment stockées, est également utilisée dans d’autres types de réseaux. Dans le domaine de la LSTM, cette mémoire à court terme est appelée hidden state (état caché). Con­trai­re­ment à d’autres réseaux, une cellule LSTM peut également conserver des in­for­ma­tions à long terme, stockées dans ce que l’on appelle le cell state (état de la cellule). Les nouvelles in­for­ma­tions passent ensuite par les trois portes.
• Dans l’input gate, l’entrée actuelle est mul­ti­pliée par le* hidden state et par la pon­dé­ra­tion du dernier passage. Cela permet à la porte d’entrée de dé­ter­mi­ner la valeur de la nouvelle entrée. Les in­for­ma­tions im­por­tantes sont alors ajoutées au cell state précédent pour former le nouveau cell state*.
• Dans la forget gate, il est décidé quelles in­for­ma­tions doivent être con­ser­vées et les­quelles doivent être sup­pri­mées. Cette décision prend en compte le dernier* hidden state *et l’entrée actuelle. À l’aide d’une fonction sigmoïde (fonction en forme de S), qui génère des valeurs comprises entre 0 et 1, cette décision est prise. Les valeurs proches de 0 indiquent que l’in­for­ma­tion doit être oubliée, tandis que celles proches de 1 suggèrent de la conserver. Le résultat est multiplié par l’état de la cellule actuel (cell state). Les valeurs avec 0 sont donc éliminées.
• La sortie finale est alors calculée dans l’output gate. Pour cela, on utilise le* hidden state* et la fonction sigmoïde. Ensuite, l’état de la cellule est activé et multiplié par une fonction tanh (tangente hy­per­bo­lique) afin de dé­ter­mi­ner quelles in­for­ma­tions doivent passer par la porte de sortie.

Quelles sont les dif­fé­rentes ar­chi­tec­tures ?

Alors que ce mode de fonc­tion­ne­ment est similaire pour tous les réseaux utilisant la Long Short-Term Memory, des dif­fé­rences parfois im­por­tantes existent dans l’ar­chi­tec­ture des variantes LSTM. Les LSTM peephole, par exemple, sont largement répandus et doivent leur nom au fait que les dif­fé­rentes* gates peuvent consulter l’état de la cellule cor­res­pon­dante. Le terme « peephole *» signifie « judas » ou « trou de serrure ». Lespeephole LSTM con­vo­lu­tifs sont une al­ter­na­tive qui utilise, en plus d’une mul­ti­pli­ca­tion ma­tri­cielle, une con­vo­lu­tion discrète pour calculer l’activité d’un neurone.

Quels sont les prin­ci­paux domaines d’ap­pli­ca­tion de la Long Short-Term Memory ?

De nom­breuses ap­pli­ca­tions reposent désormais en­tiè­re­ment ou par­tiel­le­ment sur des réseaux neuronaux utilisant la LSTM. Les domaines d’ap­pli­ca­tion sont variés et multiples. Cette tech­no­lo­gie apporte une con­tri­bu­tion précieuse dans les secteurs suivants :

• Gé­né­ra­tion au­to­ma­tique de textes
• Analyse des données de séries tem­po­relles
• Re­con­nais­sance vocale
• Prévision des tendances bour­sières
• Com­po­si­tion musicale

La Long Short-Term Memory est également utilisée pour iden­ti­fier les anomalies, par exemple lors de ten­ta­tives de fraude ou d’attaques sur des réseaux. Les ap­pli­ca­tions adaptées peuvent également re­com­man­der des médias tels que des films, des séries, des groupes ou des livres en se basant sur les données des uti­li­sa­teurs, ou analyser des vidéos, images ou chansons. Cela permet non seulement d’augmenter la sécurité, mais aussi de réduire con­si­dé­ra­ble­ment les efforts.

De nombreux grands groupes utilisent la mémoire à long terme pour leurs services et leurs produits. Google, par exemple, utilise des réseaux de ce type pour ses systèmes d’as­sis­tance in­tel­li­gents, le programme de tra­duc­tion Google Translate, le logiciel de jeu AlphaGo ou la re­con­nais­sance vocale dans les smart­phones. Les as­sis­tants vocaux Siri (Apple) et Alexa (Amazon) reposent également sur la Long Short-Term Memory, tout comme la fonction de saisie pré­dic­tive du clavier d’Apple.