Google DeepMind的最新研究Gemma Scope揭开了语言模型黑箱的秘密，通过稀疏自编码器(SAEs)分解和重构语言模型的激活，旨在揭示背后有意义的特征。Gemma Scope采用JumpReLU SAEs，通过控制激活，优化重建损失并正则化活跃的潜在特征数量，以揭示语言模型的内部机制。研究发现，残差流SAEs的性能通常较低，序列长度对SAE性能有显著影响，不同数据集子集的表现各异，DeepMind mathematics上表现最佳。Gemma Scope的发布不仅有助于理解SAEs，还能改进实际任务性能，对SAEs进行红队测试，提高AI的可解释性和安全性。

谷歌推出了拥有20亿参数的Gemma22B模型，表现出在多种硬件环境下的卓越性能，尤其在“聊天机器人竞技场”中超越了GPT-3.5-Turbo-0613和Mixtral-8x7b等模型。此模型通过NVIDIA TensorRT-LLM库优化，高效部署于各种场景，从边缘设备到强大云环境。为提升安全性，谷歌还发布了ShieldGemma安全分类器和Gemma Scope工具，以过滤有害内容和分析模型决策。面对AI技术竞争的加剧，谷歌需加速创新，推出更强大的Gemma3模型以保持市场竞争力。