Des chercheurs de l'Université de Pennsylvanie ont développé SmartDJ, un outil d'édition audio basé sur l'intelligence artificielle qui permet de modifier des environnements sonores immersifs à partir d'instructions simples en langage naturel. Il fonctionne en stéréo, préservant ainsi les indices spatiaux essentiels à une expérience immersive. L'outil est également interprétable : chaque étape de modification est visible et modifiable par l'utilisateur. Pour fonctionner, SmartDJ combine un modèle de langage pour comprendre les instructions et un modèle de diffusion pour appliquer les changements audio. Ses applications potentielles incluent la réalité virtuelle, les jeux vidéo ou la conception sonore.
Google a présenté la version fonctionnelle du "Project Genie", une application utilisant les modèles Gemini, Genie 3 et Nano Banana Pro, permettant de créer des environnements 3D dynamiques et interactifs. Genie 3 génère des chemins en temps réel et simule la physique pour des mondes variés, allant de la robotique à l'exploration historique. Elle offre trois fonctionnalités principales : la création de mondes via des prompts et des images, l'exploration en temps réel avec ajustement dynamique de la caméra, et le remixage de mondes via des vidéos téléchargeables. Cependant, Google souligne que Genie est un prototype expérimental avec des limites, comme des mondes parfois irréalistes ou des latences de contrôle.
L'entreprise chinoise Tencent a lancé mondialement son moteur de création 3D Hunyuan, une plateforme alimentée par l'IA qui simplifie la génération d'actifs 3D pour les créateurs et les entreprises. Cette technologie permet de créer des modèles 3D à partir de descriptions textuelles, d'images ou de croquis, réduisant considérablement le temps et le côut de production. L'API du modèle 3D Hunyuan est également disponible via Tencent Cloud, permettant aux entreprises d'intégrer ces capacités de génération 3D dans leurs flux de travail. Depuis sa sortie en novembre 2024, le modèle Hunyuan 3D a été téléchargé plus de 3 millions de fois sur la plateforme Hugging Face.
Snap profite de l'AWE 2024 pour lancer sa fonctionnalité d'IA générative en temps réel sur les filtres. Ces fonctionnalités sont également disponibles dans la version 5 de Lens Studio lancé également aujourd'hui
DEVAR lance un outil de génération de modèle 3D dans son applaication de création MyWebAR
Une rencontre avec Thea Baumann, artiste et créatrice de Metaverse Nails