Google vient d'annoncer une mise à jour de l'assistant Gemini dans Android Studio : il prend désormais en charge les entrées multimodales. Les développeurs peuvent désormais joindre des images à leurs invites pour obtenir une assistance visuelle lors du développement d'applications.
Initialement présentée lors de la conférence I/O 2024, cette fonctionnalité multimodale permet désormais à Gemini de « comprendre des maquettes simples et de les convertir en code Jetpack Compose utilisable ». Dans la version Canary d'Android Studio Narwal, le champ « Demander à Gemini » propose une nouvelle option : « Joindre un fichier image » (formats JPEG ou PNG acceptés). Google recommande d'utiliser des images avec un « contraste de couleurs élevé » et de fournir des « invites claires » pour obtenir les meilleurs résultats.
Les développeurs peuvent télécharger divers types de captures d'écran et d'interfaces utilisateur, des maquettes simples aux modèles haute fidélité, et spécifier les fonctionnalités attendues. Par exemple, dans un exemple de conception de calculatrice, on peut demander de « faire en sorte que l'interaction et les calculs fonctionnent comme prévu ».
Voici des exemples d'invites pour convertir une conception visuelle en code d'interface utilisateur fonctionnel : 1. « Pour l'image fournie, écrire du code Android Jetpack Compose pour créer un écran aussi proche que possible de cette image. Assurez-vous d'inclure les importations, d'utiliser Material3 et de documenter le code. » 2. « Pour l'image fournie, écrire du code Android Jetpack Compose pour créer un écran aussi proche que possible de cette image, en faisant preuve de créativité pour les couleurs. Faire en sorte que l'interaction et les calculs fonctionnent comme prévu. Assurez-vous d'inclure les importations, d'utiliser Material3 et de documenter le code. »
Google présente Gemini comme un outil fournissant une « structure de conception initiale ». Le code généré nécessite généralement des modifications et des ajustements supplémentaires. Les améliorations courantes consistent à s'assurer que les objets et les icônes dessinables sont correctement importés. Google recommande de considérer le code généré comme un point de départ efficace pour accélérer le processus de développement de l'interface utilisateur.
De plus, la fonction d'analyse visuelle de Gemini peut être utilisée pour identifier et résoudre les erreurs. Les développeurs peuvent « télécharger une capture d'écran de l'interface utilisateur problématique, et Gemini analysera l'image et proposera des solutions potentielles ». Les développeurs peuvent également joindre des extraits de code pertinents pour obtenir une aide plus précise.
Gemini dans Android Studio prend également en charge le téléchargement de schémas architecturaux pour obtenir des explications ou de la documentation, similaire à la fonctionnalité des lunettes Gemini Astra présentée lors de la conférence I/O.