近日,苹果公司在机器学习领域的最新研究显示,他们通过与 NVIDIA 的合作,成功将大型语言模型(LLM)的生成速度提高了近三倍。这一进展的关键在于苹果开源的技术 “Recurrent Drafter”(ReDrafter),它采用了一种推测解码方法,能够显著提升模型训练的效率。在过去,创建大型语言模型的过程通常非常耗时和耗资源,企业常常需要购买大量的硬件设备,进而增加了运营成本。2024年早些时候,苹果发布了 ReDrafter,这一技术结合了递归神经网络和动态树关注的方法,能够快速生成和验证标记,
近日,微软 AI 研究团队发布了开源工具 PromptWizard,这是一种基于反馈驱动的 AI 框架,旨在高效优化大型语言模型(LLM)的提示设计。提示的质量对于模型输出的优劣至关重要,然而,创建高质量的提示往往需要耗费大量的时间和人力资源,尤其是在复杂或特定领域的任务中。传统的提示优化方法多依赖人工经验,这种方式不仅耗时,而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源,而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体
今日,抖音副总裁李亮就有关字节跳动可能掀起大模型价格战的传闻发表了看法。他在社交媒体上明确表示,这并非价格战,而是通过技术创新来降低 AI 模型的使用成本。据了解,在火山引擎Force大会上,字节跳动正式发布了豆包视觉理解模型,同时公布其售价为千tokens输入0.003元,比行业平均价格便宜85%。对于字节跳动再掀大模型价格战这一传闻,抖音副总裁李亮发文回应称:这不是价格战。他表示,豆包大模型通过技术创新来降低成本,在算法、软件工程和硬件方案上做了非常多优化,
今日,针对字节跳动可能再掀大模型价格战的传闻,抖音副总裁李亮在社交媒体上发表了声明,明确表示这并不是价格战。李亮指出,豆包大模型通过技术创新降低了成本,在算法、软件工程和硬件方案上进行了大量优化。他提到,3厘/千tokens的定价不仅具有可观的毛利,而且是透明的定价策略,并非传统的“刊例价折扣”模式。