CMU ने Gemini Pro, GPT-3.5 और Mistral8×7B की गहन तुलना की, जहाँ GPT-3.5 लगभग पूरी तरह से Gemini Pro पर领先 है। Gemini Pro मल्टीटास्क परीक्षणों में औसत प्रदर्शन करता है, लेकिन विशेष क्षेत्रों में GPT-3.5 को पीछे छोड़ता है, विशेष रूप से मल्टीमॉडल मॉडल के मामले में। अनुसंधान में ज्ञान प्रश्न, सामान्य तर्क, गणित की समस्याएँ, कोड जनरेशन आदि जैसे कई क्षेत्रों को शामिल किया गया है, जहाँ GPT-3.5 अपने वर्चस्व को बनाए रखता है। Gemini Pro ज्ञान प्रश्न और सामान्य तर्क कार्यों पर थोड़ी कमजोर है।