गूगल ने हाल ही में घोषणा की है कि Android Studio में Gemini असिस्टेंट को मल्टी-मॉडल इनपुट फ़ंक्शन के साथ अपग्रेड किया गया है, डेवलपर्स अब एप्लिकेशन डेवलपमेंट प्रक्रिया में विज़ुअल सहायता प्राप्त करने के लिए छवियों को सीधे प्रॉम्प्ट में जोड़ सकते हैं।
यह मल्टी-मॉडल फ़ंक्शन पहली बार I/O 2024 सम्मेलन में दिखाया गया था, अपग्रेड किए गए Gemini अब "सरल वायरफ्रेम को समझ सकता है और इसे उपयोग करने योग्य Jetpack Compose कोड में बदल सकता है"। Android Studio Narwal के कैनरी संस्करण में, Ask Gemini फ़ील्ड में "अटैच इमेज फ़ाइल" (JPEG या PNG फ़ॉर्मेट को सपोर्ट करता है) विकल्प जोड़ा गया है। गूगल उपयोगकर्ताओं को सर्वोत्तम परिणाम के लिए "मजबूत रंग कंट्रास्ट" वाली छवियों का उपयोग करने और "स्पष्ट प्रॉम्प्ट" प्रदान करने का सुझाव देता है।
डेवलपर्स सरल वायरफ्रेम से लेकर हाई-फिडेलिटी मॉडल तक के विभिन्न स्क्रीनशॉट और यूजर इंटरफेस अपलोड कर सकते हैं, और अपेक्षित फ़ंक्शन निर्दिष्ट कर सकते हैं। उदाहरण के लिए, कैलकुलेटर डिज़ाइन उदाहरण में, "इंटरैक्शन और गणना को अपेक्षा के अनुसार काम करने" के लिए अनुरोध किया जा सकता है।
विज़ुअल डिज़ाइन को कार्यात्मक UI कोड में बदलने के विशिष्ट प्रॉम्प्ट में शामिल हैं: 1. "प्रदान की गई इस छवि के लिए, इस छवि के जितना संभव हो उतना करीब स्क्रीन बनाने के लिए Android Jetpack Compose कोड लिखें। इम्पोर्ट, Material3 का उपयोग और कोड को डॉक्यूमेंट करना सुनिश्चित करें।" 2. "प्रदान की गई इस तस्वीर के लिए, इस तस्वीर के जितना संभव हो उतना करीब स्क्रीन बनाने के लिए Android Jetpack Compose कोड लिखें, रंगों में रचनात्मकता दिखाएँ। इंटरैक्शन और गणना को अपेक्षा के अनुसार काम करने दें। इम्पोर्ट, Material3 का उपयोग और कोड को डॉक्यूमेंट करना सुनिश्चित करें।"
गूगल Gemini को "प्रारंभिक डिज़ाइन फ़्रेमवर्क" प्रदान करने वाले टूल के रूप में पोजिशन करता है, उत्पन्न कोड को आमतौर पर आगे संपादन और समायोजन की आवश्यकता होती है। सामान्य सुधारों में यह सुनिश्चित करना शामिल है कि ड्रॉएबल ऑब्जेक्ट और आइकन सही ढंग से इम्पोर्ट किए गए हैं। गूगल उत्पन्न कोड को कुशल शुरुआती बिंदु के रूप में देखने का सुझाव देता है, जिससे UI डेवलपमेंट वर्कफ़्लो में तेजी आती है।
इसके अलावा, Gemini का विज़ुअल विश्लेषण फ़ंक्शन त्रुटियों की पहचान और समाधान करने के लिए भी इस्तेमाल किया जा सकता है, डेवलपर्स "समस्याग्रस्त UI का स्क्रीनशॉट अपलोड कर सकते हैं, Gemini उस छवि का विश्लेषण करेगा और संभावित समाधान सुझाएगा"। अधिक सटीक सहायता प्राप्त करने के लिए डेवलपर्स संबंधित कोड स्निपेट भी जोड़ सकते हैं।
Android Studio में Gemini आर्किटेक्चर आरेख अपलोड करने और व्याख्या या दस्तावेज़ प्राप्त करने का भी समर्थन करता है, जो I/O सम्मेलन में दिखाए गए Gemini Astra चश्मे के फ़ंक्शन के समान है।