BiTA是一种用于大型语言模型的双向调节方法，通过简化的半自回归生成和草稿验证来加速大型语言模型。BiTA作为一种轻量级的插件模块，能够无缝提升现有大型语言模型的推断效率，而无需额外的辅助模型或产生显著的额外内存成本。应用BiTA后，LLaMA-2-70B-Chat在MT-Bench基准测试上实现了2.7倍的加速。广泛的实验证实我们的方法超越了最先进的加速技术。