Stable Diffusion : créer des images avec du texte

Stable Diffusion est un modèle d’IA qui crée des images nu­mé­riques à partir d’ins­truc­tions sous forme de texte. L’outil se distingue par sa capacité à créer des contenus très détaillés et réalistes. La tech­no­lo­gie est prin­ci­pa­le­ment utilisée pour la création et la retouche d’images, ainsi que la con­cep­tion d’in­ter­faces uti­li­sa­teur.

Qu’est-ce que Stable Diffusion ?

Stable Diffusion.ai est un modèle d’IA gé­né­ra­tive qui génère des images réalistes uniques à partir de texte. Cela se fait à l’aide d’ins­truc­tions tex­tuelles appelées prompts. La re­con­nais­sance des commandes vocales fait aussi partie des fonctions intégrées à Stable Diffusion. Les versions les plus récentes offrent la pos­si­bi­lité de créer de courtes vidéos ou ani­ma­tions (en com­bi­nai­son avec des ex­ten­sions telles que Deforum).

Stable Diffusion est basé sur le Machine Learning et plus pré­ci­sé­ment le Deep Learning, c’est-à-dire qu’il utilise des réseaux neuronaux ar­ti­fi­ciels pour traiter les in­for­ma­tions. Cela permet au modèle d’apprendre de manière autonome à partir des données. Afin de re­con­naître les modèles et les relations dans les quantités de données et de générer des contenus ap­pro­priés, l’in­tel­li­gence ar­ti­fi­cielle a été entraînée avec plusieurs millions de paires image-texte.

Les origines de cet outil IA remontent à un projet mené par des cher­cheurs de l’uni­ver­sité LMU de Munich et de l’uni­ver­sité de Hei­del­berg. Depuis la pu­bli­ca­tion de la première version en août 2022, le modèle a été con­ti­nuel­le­ment amélioré : il prend désormais en charge jusqu’à huit milliards de pa­ra­mètres, ce qui permet à l’in­tel­li­gence ar­ti­fi­cielle de re­con­naître plus pré­ci­sé­ment l’intention derrière les entrées et de générer de meilleurs résultats. Comme Stable Diffusion a été publié en tant que logiciel open source, le code source est librement ac­ces­sible.

Quelles sont les ca­rac­té­ris­tiques prin­ci­pales de Stable Diffusion ?

Stable Diffusion se distingue par un certain nombre de ca­rac­té­ris­tiques et de pro­prié­tés qui rendent le programme d’in­tel­li­gence ar­ti­fi­cielle in­té­res­sant pour les par­ti­cu­liers comme pour les en­tre­prises. Il s’agit entre autres des ca­rac­té­ris­tiques suivantes :

• Open source : tout uti­li­sa­teur peut té­lé­char­ger le code source du modèle d’IA et l’utiliser pour des projets in­di­vi­duels. En outre, Stable Diffusion dispose d’une com­mu­nauté active grâce à laquelle une do­cu­men­ta­tion et des tutoriels complets sont dis­po­nibles.
• Résultats de premier ordre : même avec des entrées complexes, Stable Diffusion fournit un contenu réaliste et détaillé. Cela s’explique d’une part par l’ar­chi­tec­ture de l’outil et d’autre part par l’en­traî­ne­ment avec le vaste ensemble de données LAION. Parmi les gé­né­ra­teurs d’images par IA, Stable Diffusion figure parmi les meilleurs outils du marché.
• In­dé­pen­dance vis-à-vis de la pla­te­forme : Stable Diffusion peut être exécuté aussi bien sur des serveurs puissants que sur du matériel grand public standard. En principe, vous pouvez donc également utiliser l’outil sur des PC et des or­di­na­teurs portables or­di­naires. Cette évo­lu­ti­vité permet à un large éventail d’uti­li­sa­teurs d’utiliser le modèle à des fins créatives et pro­fes­sion­nelles sans avoir besoin d’accéder à des services Cloud coûteux.
• Grande flexi­bi­lité : si vous disposez du savoir-faire né­ces­saire, vous pouvez adapter l’IA Stable Diffusion à vos besoins créatifs spé­ci­fiques ou créer des ap­pli­ca­tions basées sur des flux de travail per­son­na­li­sés.

Comment fonc­tionne Stable Diffusion ?

Con­trai­re­ment à la plupart des autres gé­né­ra­teurs d’images par IA, Stable Diffusion re­pré­sente ce que l’on appelle un modèle de diffusion. Dans cette approche innovante, l’IA convertit d’abord les images de l’ensemble de données d’ap­pren­tis­sage en un bruit visuel. Lors de la gé­né­ra­tion d’images, ce processus se déroule à l’inverse. Au cours de l’en­traî­ne­ment, le modèle apprend à générer des images sig­ni­fi­ca­tives à partir du bruit en comparant en per­ma­nence les images générées avec celles de référence. L’ar­chi­tec­ture de Stable Diffusion se compose de quatre éléments centraux :

• Auto-encodeur va­ria­tion­nel (VAE) : le VAE se compose d’un encodeur et d’un décodeur. L’encodeur comprime l’image afin de faciliter sa ma­ni­pu­la­tion et saisit sa sig­ni­fi­ca­tion sé­man­tique. Le décodeur est res­pon­sable de la sortie de l’image.
• Processus de diffusion : la diffusion vers l’avant ajoute pro­gres­si­ve­ment du bruit gaussien à l’image jusqu’à ce qu’il ne reste plus que du bruit aléatoire. La diffusion inverse annule ul­té­rieu­re­ment ce processus de manière itérative, créant ainsi une image unique à partir du bruit.
• Pré­dic­teur de bruit : le pré­dic­teur de bruit prédit la quantité de bruit dans l’espace latent et la soustrait de l’image. Il répète ce processus un nombre de fois défini afin de réduire toujours plus le bruit. Jusqu’à la version 3.0, un modèle U-Net (réseau neuronal con­vo­lu­tif) était utilisé à cet effet. Les versions plus récentes utilisent à la place le Rectified Flow Trans­for­mer.
• Con­di­tion­ne­ment de texte : un tokenizer traduit la saisie de texte en unités com­pré­hen­sibles pour l’IA de Stable Diffusion, afin de saisir l’intention de l’uti­li­sa­teur et de l’in­ter­pré­ter avec précision. Ensuite, la demande de saisie est transmise au pré­dic­teur de bruit.

Ap­pli­ca­tions de Stable Diffusion

Le principal domaine d’ap­pli­ca­tion de Stable Diffusion est la création d’images. Les usages varient toutefois con­si­dé­ra­ble­ment ; alors que les créatifs et les designers utilisent le gé­né­ra­teur d’images IA pour donner vie à leurs concepts créatifs, les agences de publicité réalisent entre autres des con­cep­tions nu­mé­riques pour des campagnes et des projets.

L’IA Stable Diffusion est également utilisé pour le trai­te­ment des images. Là aussi, le modèle offre un large ré­per­toire d’options. Il est par exemple possible de supprimer des objets in­di­vi­duels d’une image, de les peindre ou d’en changer la couleur, de remplacer l’arrière-plan par un autre et de modifier l’éclairage.

Stable Diffusion peut aussi être utilisé pour la con­cep­tion d’in­ter­faces uti­li­sa­teur. À l’aide d’invites tex­tuelles, il est possible de générer des in­ter­faces uti­li­sa­teur gra­phiques complètes ainsi que des éléments d’UI tels que des boutons, des icônes et des arrière-plans. Cela permet non seulement aux designers de tester ra­pi­de­ment et sans grand effort dif­fé­rents concepts ou approches, mais aussi, dans le meilleur des cas, d’améliorer la con­cep­tion de l’ex­pé­rience uti­li­sa­teur.

Limites de Stable Diffusion

Bien que Stable Diffusion présente de nom­breuses fonc­tion­na­li­tés et des capacités im­pres­sion­nantes, il existe néanmoins quelques limites, parmi les­quelles :

• Précision limitée des résultats : même si l’IA de Stable Diffusion est capable de générer des images dé­tail­lées, des im­pré­ci­sions peuvent ap­pa­raître, surtout pour les concepts abstraits. Qui plus est, obtenir un résultat exac­te­ment conforme à sa vision n’est pas toujours simple, en par­ti­cu­lier pour les uti­li­sa­teurs inex­pé­ri­men­tés.
• Requêtes inconnues : Stable Diffusion ne peut accéder qu’aux exemples de l’ensemble des données de formation et les utiliser pour créer des images. L’outil ne parvient pas, ou de manière très limitée, à traiter de manière sa­tis­fai­sante les demandes pour les­quelles aucune donnée n’est dis­po­nible.
• Problèmes de droits d’auteur : les données utilisées pour l’en­traî­ne­ment de l’IA de Stable Diffusion l’ont été sans le con­sen­te­ment explicite des auteurs. Cela a déjà conduit à plusieurs reprises à des conflits ju­ri­diques, les personnes con­cer­nées n’étant pas d’accord avec l’uti­li­sa­tion non autorisée de leurs œuvres.
• Biais et sté­réo­types : comme d’autres modèles d’IA, Stable Diffusion présente le risque que des préjugés soient repris à partir des données d’en­traî­ne­ment. Cela peut conduire à des re­pré­sen­ta­tions sté­réo­ty­pées ou dis­cri­mi­na­toires (par exemple, des biais liés au sexe, à la culture ou à l’âge).
• Con­di­tions ma­té­rielles : Stable Diffusion nécessite d’im­por­tantes res­sources de calcul pour la création d’images, notamment une carte graphique (GPU) puissante avec suf­fi­sam­ment de VRAM (Video Random Access Memory). Cela peut cons­ti­tuer un frein pour les profils non équipés ou débutants. Les temps de char­ge­ment et la vitesse de gé­né­ra­tion des images sont fortement limités sur de tels systèmes.