Em­bed­dings en Machine Learning : exemple dans la base de données ChromaDB

L’embedding en Machine Learning est utilisé pour convertir des objets mul­ti­di­men­sion­nels tels que des images, des textes, des vidéos ou des fichiers audio en vecteurs. Cela permet aux modèles d’ap­pren­tis­sage au­to­ma­tique de mieux les re­con­naître et les ca­té­go­ri­ser. Cette méthode est déjà largement utilisée dans des bases de données vec­to­rielles comme ChromaDB.

Qu’est-ce que l’embedding en Machine Learning ?

L’embedding en Machine Learning est une technique qui permet aux systèmes de re­pré­sen­ter des objets réels sous une forme ma­thé­ma­tique com­pré­hen­sible par l’in­tel­li­gence ar­ti­fi­cielle (IA). Ces em­bed­dings (en français, vecteurs intégrés) sim­pli­fient la re­pré­sen­ta­tion des objets réels, tout en pré­ser­vant leurs ca­rac­té­ris­tiques et relations avec d’autres objets. Cette méthode est utilisée pour apprendre aux modèles à trouver des objets si­mi­laires, qu’il s’agisse de textes, images, données audio ou vidéos. Ces objets sont con­si­dé­rés comme des données à haute dimension, car une image, par exemple, contient des milliers de pixels, chacun associé à une valeur de couleur.

Les em­bed­dings IA sont des vecteurs : en ma­thé­ma­tiques, les vecteurs sont des listes de nombres per­met­tant de re­pré­sen­ter un point dans un espace di­men­sion­nel.

Le principe de base des em­bed­dings en Machine Learning consiste à ce qu’un al­go­rithme de recherche dans une base de données vec­to­rielle identifie deux vecteurs aussi proches que possible. Plus ces vecteurs sont riches en di­men­sions, plus la com­pa­rai­son est précise. Pour y parvenir, un modèle est entraîné avec des ensembles de données vastes et variés.

Quelles sont les ap­pli­ca­tions de l’embedding en Machine Learning ?

Les em­bed­dings sont largement utilisés dans le Machine Learning, notamment dans les grands modèles de langage, en anglais Large Language Models (LLM). Ces modèles, utilisés par de nombreux outils d’IA, ne se limitent pas à intégrer un mot, mais prennent également en compte son contexte. Cela permet à des solutions comme ChatGPT d’analyser des phrases ou des textes entiers. Voici quelques cas d’uti­li­sa­tion :

• Re­cherches et requêtes amé­lio­rées : les em­bed­dings per­met­tent de rendre les re­cherches plus précises et de fournir des résultats plus per­ti­nents sur le long terme.
• Con­tex­tua­li­sa­tion : en four­nis­sant des in­for­ma­tions con­tex­tuelles, les réponses peuvent être affinées.
• Per­son­na­li­sa­tion : les em­bed­dings per­met­tent d’adapter finement les modèles de langage à des cas d’usage ou des uti­li­sa­teurs spé­ci­fiques.
• In­té­gra­tion de données : les em­bed­dings per­met­tent également d’intégrer des données provenant de sources externes, en­ri­chis­sant ainsi les ensembles de données.

Comment fonc­tionne l’embedding ? Exemple sur ChromaDB

Pour stocker et in­ter­ro­ger ef­fi­ca­ce­ment les données vec­to­ri­sées, les bases de données vec­to­rielles cons­ti­tuent une solution idéale. Ces bases de données per­met­tent non seulement d’éco­no­mi­ser de l’espace, mais aussi d’effectuer des re­cherches basées sur la si­mi­la­rité des résultats. L’une des plus po­pu­laires en open source est ChromaDB. Elle stocke les em­bed­dings et leurs mé­ta­don­nées, per­met­tant aux LLM de les utiliser ul­té­rieu­re­ment. Voici les trois étapes prin­ci­pales de son fonc­tion­ne­ment :

Étape 1 : créer une nouvelle col­lec­tion

La première étape consiste à créer une col­lec­tion, com­pa­rable à une table dans une base de données re­la­tion­nelle. Les documents ajoutés à ces col­lec­tions sont ensuite convertis en em­bed­dings. Par défaut, ChromaDB utilise le modèle all-MiniLM-L6-v2, mais il est possible de le changer pour répondre à des besoins spé­ci­fiques, comme la gestion de textes tech­niques ou d’images. Cette flexi­bi­lité rend ChromaDB po­ly­va­lent pour le trai­te­ment de textes, d’audio ou d’images.

Étape 2 : ajouter de nouveaux documents

Vous pouvez ensuite ajouter à la col­lec­tion créée des documents textuels avec des mé­ta­don­nées et un iden­ti­fiant unique. ChromaDB convertit alors au­to­ma­ti­que­ment le texte en em­bed­dings. Les mé­ta­don­nées servent d’in­for­ma­tions sup­plé­men­taires pour affiner les re­cherches ul­té­rieures, par exemple en filtrant par ca­té­go­ries ou dates. Cette structure facilite la gestion de grands volumes de données et l’obtention rapide de résultats per­ti­nents.

Étape 3 : in­ter­ro­ger les documents re­cher­chés

Enfin, il est possible de re­cher­cher des textes ou em­bed­dings dans ChromaDB. Les résultats sont classés en fonction de leur si­mi­la­rité avec la requête. Il est aussi possible de filtrer les résultats en fonction des mé­ta­don­nées. Les résultats les plus per­ti­nents ap­pa­rais­sent en tête de liste. De plus, il est possible d’améliorer la recherche en dé­fi­nis­sant des seuils de si­mi­la­rité ou en ap­pli­quant des filtres sup­plé­men­taires.