हाल ही में बड़े भाषा मॉडल (LLM) में तेजी से विकास हुआ है, जिसमें Transformer मॉडल का महत्वपूर्ण योगदान है। Transformer का मुख्य भाग ध्यान तंत्र है, जो एक सूचना फ़िल्टर की तरह कार्य करता है, जिससे मॉडल वाक्य के सबसे महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करता है। लेकिन अत्यंत शक्तिशाली Transformer भी अप्रासंगिक जानकारी से प्रभावित हो सकता है, जैसे कि जब आप पुस्तकालय में एक किताब खोजने की कोशिश कर रहे हों और अप्रासंगिक किताबों के एक ढेर में डूब जाएं, जिससे आपकी दक्षता स्वाभाविक रूप से कम हो जाती है। इस ध्यान तंत्र द्वारा उत्पन्न अप्रासंगिक जानकारी को शोध पत्रों में ध्यान शोर के रूप में संदर्भित किया जाता है। कल्पना करें, आप इसे पढ़ना चाहते हैं।