Un impressionnant programme d'intelligence artificielle qui recrée des visages à partir d'audios

La technologie continue de croître à pas de géant, s'appuyant sur plusieurs domaines pour explorer de nouvelles capacités et fonctions. L'une d'elles est de pouvoir « reconstruire » le visage d'une personne à travers un fragment de voix.

L'étude Speech2Face présentée en 2019 lors d'une conférence Vision and Recognition Patterns a montré qu'une intelligence artificielle (IA) peut déchiffrer l'apparence d'une personne grâce à de courts segments audio.

L'article explique que l'objectif des chercheurs Tae-Hyun On, Tali Dekel, Changil Kim, Inbar Mosseri, William T. Freeman et Michael Rubinstein du programme de recherche et de science du MIT n'est pas de reconstruire les visages des personnes de manière identique, mais de créer une image avec les caractéristiques physiques liées à la audio analysé.

Pour y parvenir, ils ont utilisé, conçu et formé un réseau neuronal profond qui a analysé des millions de vidéos tirées de YouTube où les gens parlent. Au cours de la formation, le modèle a appris à corréler les voix avec les visages, ce qui lui a permis de produire des images avec des attributs physiques similaires à ceux des locuteurs, notamment l'âge, le sexe et l'origine ethnique.

La formation a été menée sous supervision et en utilisant la concurrence des visages et des voix des vidéos Internet, sans qu'il soit nécessaire de modéliser les caractéristiques physiques détaillées du visage.

Ils ont détaillé que, étant donné que cette étude pourrait avoir des aspects sensibles à l'ethnicité, ainsi qu'à la vie privée, c'est qu'aucun aspect physique spécifique n'a été ajouté à la recréation des visages et ils garantissent que, comme tout autre système d'apprentissage automatique, il s'améliore avec le temps, car à chaque utilisation augmente sa bibliothèque de connaissances.

Bien que les tests aient montré que Speech2Face présente un nombre élevé de coïncidences entre les visages et les voix, il présentait également des défauts, où l'origine ethnique, l'âge ou le sexe ne correspondaient pas à l'échantillon de voix utilisé.

Le modèle est conçu pour présenter les corrélations statistiques qui existent entre les traits du visage et la voix. Il ne faut pas oublier que l'IA a appris grâce à des vidéos YouTube, qui ne représentent pas un échantillon réel de la population dans le monde. Par exemple, dans certaines langues, elle montre des divergences avec les données de formation.

En ce sens, l'étude elle-même recommande, à la fin de ses résultats, que ceux qui décident d'explorer et de moderniser le système prennent en compte un échantillon plus large de personnes et de voix afin que le machine learning dispose d'un répertoire plus large de visages appariés et recréés.

Le programme a également pu recréer la voix dans des dessins animés, qui ressemblent également de manière incroyable aux voix des audios analysés.

Étant donné que cette technologie pourrait également être utilisée à des fins malveillantes, la recréation du visage reste aussi proche de la personne et ne donne pas de visages complets, car cela pourrait constituer un problème pour la vie privée des personnes. Néanmoins, il est surprenant de voir ce que la technologie peut faire à partir d'échantillons audio.

CONTINUEZ À LIRE :