Sakana AI 是一家专注于自然启发算法的人工智能研究实验室，近日推出了一种名为 Transformer² （Transformer-squared） 的创新自适应语言模型。该模型无需昂贵的微调，即可在推理过程中动态学习并适应新任务，这标志着大型语言模型 (LLM) 技术发展的重要一步。Transformer² 的核心创新在于其独特的两步动态权重调整机制。首先，它分析传入的用户请求，理解任务需求;然后，通过数学技巧，利用奇异值分解 （SVD） 将模型权重与任务需求对齐。通过有选择地调整模型权重的关键组件，Transformer² 能

传统的大型语言模型（LLM）微调方法通常计算密集，且在处理多样化任务时显得静态。为了解决这些挑战，Sakana AI 推出了一种名为 Transformer² 的新型自适应框架。Transformer² 能够在推理过程中实时调整LLM的权重，使其能够适应各种未知的任务，就像章鱼一样灵活。Transformer² 的核心在于一个两阶段机制:第一阶段，一个调度系统会分析用户的查询，识别任务的属性。第二阶段，系统会动态混合多个“专家”向量。这些向量是使用强化学习训练出来的，每个向量都专注于特定类型的任务，从而