मधुमक्खी बहुविधा भाषा मॉडल के लिए एक स्थानीयता-वर्धित पूर्वानुमानक है। यह विभिन्न डाउनस्ट्रीम कार्यों, जैसे प्राकृतिक भाषा अनुमान, दृश्य प्रश्नोत्तर आदि पर बहुविधा भाषा मॉडल के प्रदर्शन को बेहतर बनाने में सक्षम है। मधुमक्खी का लाभ यह है कि इसमें स्थानीयता-संवेदनशीलता तंत्र शामिल है, जो इनपुट नमूनों के बीच निर्भरता संबंधों को बेहतर ढंग से मॉडल कर सकता है, जिससे बहुविधा भाषा मॉडल की तर्क और प्रश्नोत्तर क्षमता बढ़ जाती है।