Meta发布了Llama2-Long模型,它处理长文本时不增加计算需求,保持卓越性能。采用持续预训练、位置编码改进和数据混合策略,减少计算开销最多可达40%。在长短任务上表现卓越,甚至超越了GPT-3.5。这一发布为自然语言处理领域注入了新的活力。