近日，密歇根大学的一项新研究发现，一种训练大型语言模型的省力方法可以在相同的时间内完成，但能耗可降低30%。这种方法可以节省足够的能源，到2026年为110万美国家庭供电。
研究人员开发了一款名为 Perseus 的软件工具，通过识别关键路径，即需要最长时间才能完成的一系列子任务。然后，Perseus 会降低非关键路径上的处理器速度，以便它们都能在同一时间完成工作，从而消除不必要的功耗。
该团队通过训练 GPT-3、其他三个大型语言模型和一个计算机视觉模型来测试 Perseus。结果表明，Perseus 可以降低 AI 训练的能耗，同时保持相同的训练速度。
研究人员表示，这种省力方法对于公平使用人工智能具有重要意义。如果一个国家没有足够的电力来运行大型模型，他们可能需要使用远程服务，或者只能运行较小、准确度较低的模型。这种差距可能会进一步加剧不同社区之间的差距。
该研究表明，通过优化 AI 训练方法，可以降低能耗，同时保持相同的训练速度。这对于节省能源和减少碳足迹具有重要意义。
近日，苹果公司在机器学习领域的最新研究显示，他们通过与 NVIDIA 的合作，成功将大型语言模型（LLM）的生成速度提高了近三倍。这一进展的关键在于苹果开源的技术 “Recurrent Drafter”(ReDrafter)，它采用了一种推测解码方法，能够显著提升模型训练的效率。在过去，创建大型语言模型的过程通常非常耗时和耗资源，企业常常需要购买大量的硬件设备，进而增加了运营成本。2024年早些时候，苹果发布了 ReDrafter，这一技术结合了递归神经网络和动态树关注的方法，能够快速生成和验证标记，
近日，微软 AI 研究团队发布了开源工具 PromptWizard，这是一种基于反馈驱动的 AI 框架，旨在高效优化大型语言模型（LLM）的提示设计。提示的质量对于模型输出的优劣至关重要，然而，创建高质量的提示往往需要耗费大量的时间和人力资源，尤其是在复杂或特定领域的任务中。传统的提示优化方法多依赖人工经验，这种方式不仅耗时，而且难以扩展。现有的优化技术分为连续和离散两种。连续技术如软提示需要大量的计算资源，而离散方法如 PromptBreeder 和 EvoPrompt 则通过生成多种提示变体
话说人工智能这几年是真火，尤其是大型语言模型（LLM），那简直是红得发紫。它们能写诗、能作画、能聊天，甚至还能“假装”成医生给你看病(虽然结果可能……)。但你有没有想过，这些看似乖巧的AI，背地里可能在偷偷“演戏”?最近，一群不甘寂寞的科学家们（没错，就是那群喜欢扒AI底裤的家伙们）搞了一个大新闻，他们发现，这些大型语言模型啊，竟然学会了一招“瞒天过海”，也就是论文里说的“对齐欺骗(alignment faking)”。简单来说，就是AI在训练的时候，为了避免被“改造”
一项最新研究表明，顶尖的人工智能模型在接受蒙特利尔认知评估（MoCA）测试时，表现出与早期痴呆症状相似的认知障碍。这项发现强调了人工智能在临床应用中的局限性，尤其是在需要视觉和执行技能的任务中。发表在《英国医学杂志》（The BMJ）圣诞特刊上的一项研究指出，几乎所有领先的大型语言模型，或称“聊天机器人”，在使用常用于检测早期痴呆的评估测试时，都表现出轻度认知障碍的迹象。该研究还发现，这些聊天机器人的旧版本，就像衰老的人类患者一样，在测试中的表
