训练大型AI模型（如Transformer和语言模型）已成为AI领域不可或缺的关键环节，但也面临着高昂的计算成本、内存消耗和能源需求。例如，OpenAI的GPT-3拥有1750亿个参数，需要数周的GPU训练。这种巨大的资源需求限制了这项技术在大规模计算资源充足的组织中的应用，同时也加剧了人们对能源效率和环境影响的担忧。解决这些挑战对于确保AI发展的更广泛可及性和可持续性至关重要。传统训练方法效率低下，亟需创新解决方案大型模型训练效率低下的主要原因在于其对稠密矩阵的依赖，这需要