最近大语言模型（LLM）发展迅猛，其中Transformer模型功不可没。Transformer的核心是注意力机制，它像一个信息过滤器，让模型关注句子中最重要的部分。但即使是强大的Transformer，也会被无关信息干扰，就好比你在图书馆想找本书，结果被一堆无关的书淹没，效率自然低下。这种注意力机制产生的无关信息，在论文中被称为注意力噪音。想象一下，你想在文件中找一个关键信息，结果Transformer模型的注意力却分散到各种无关的地方，就像一个近视眼，看不清重点。为了解决这个问题，这篇论

国产开源视频生成模型CogVideoX-5B在魔搭ModelScope社区正式开源，显著提升了视频生成的质量和视觉效果。基于大规模DiT模型，该模型采用3D因果变分自编码器、专家Transformer技术，通过3D-RoPE位置编码和3D全注意力机制实现时空联合建模。渐进式训练技术的运用，使得模型能够生成具有明显运动特征、连贯且高质量的长时间视频。

今年7月，爱诗科技发布了全新升级的AI视频生成产品PixVerse V2，该产品采用Diffusion+Transformer（DiT）基础架构，实现了视频生成技术的多项创新。PixVerse V2能够提供更长、更一致、更有趣的视频生成能力，支持一次生成多个视频片段

以色列AI公司aiOla发布了一款名为Whisper Medusa的开源语音识别模型，该模型基于改进的架构设计，引入多头注意力机制，使其处理速度比OpenAI的Whisper模型快50%。Whisper Medusa通过并行预测十个tokens，而非传统的一次一个，显著提高了语音识别速度，同时保持了性能不减。其创新的训练方法采用弱监督学习，冻结主干系统并使用模型生成的音频转录作为标签训练其他模块。这一开源模型的发布，将为语音识别技术的发展带来深远影响，推动更快速、高效的语音处理应用，并可能在智能助手、实时翻译和语音控制系统等领域实现性能提升。

爱诗科技发布PixVerse V2，一款基于AI的视频生成工具，旨在释放用户创意。该产品采用Diffusion+Transformer架构，具有时空注意力机制，能精准理解并生成多模态信息，支持高效训练与优化。主要特点包括：提升空间与时间感知，精准对齐文本信息，生成流畅一致的视频片段（单个可达8秒，多段40秒），用户友好，支持一键生成连续视频内容并二次编辑。未来3个月内，爱诗科技将进行多次迭代升级，目标是使AI视频创作更为便捷高效，适用于日常记录与故事讲述。

AlphaFold3（AF3）是DeepMind团队的最新增强工具，用于预测蛋白质、核酸和小分子的结构。凭借能够解析单个蛋白质序列及其复合结构的能力，AF3实现了"食谱到三维结构"的转变。其架构由三项核心模块组成：输入准备梳理序列、检索具备相似结构的分子；表示学习运用多层注意力机制更新表征；结构预测通过条件扩散模型实现预测。AF3创造性地将各类分子转化为独特数值张量，仿佛给每个分子一个独一无二的"身份证"，并运用注意力机制捕捉分子间的互相关系。在预测层面，条件扩散模型从随机噪声开始，逐步构建结构预测。训练中多种损失函数和信心评估共同作用，提高了AF3的预测准确性和可靠性，实现自我反省与提升。AF3的可视化指导和先进架构，展示了人工智能在生物学领域预测模型的革命性进步。