近日，来自上海交通大学和哈佛大学的研究团队推出了一种全新的模型微调方法 ——LoRA-Dash。这个新方法声称比现有的 LoRA 方法更加高效，特别是在特定任务的微调中，它可以在参数量减少8到16倍的情况下，依然达到相同的效果。这无疑是对那些需要大量计算资源的微调任务的一次重大突破。在大规模语言模型快速发展的背景下，微调特定任务的需求日益增长。然而，微调往往需要消耗大量的计算资源。为了解决这一问题，研究团队引入了参数高效微调（PEFT）策略，LoRA 就是一个典型的例

OpenAI已推出售价200美元/月的ChatGPT Pro，计划在两周内引入名为"草莓"的新模型，其核心特点是模仿人类思考过程，通过10到20秒的"思考"和信息检索生成准确内容，专注于文本处理，暂不支持图像和音频处理。"草莓"模型采用创新的优化策略，包括密集型验证奖励模型和动态调整回答质量，旨在提升大语言模型的表现，突破训练数据集和推理计算资源限制。然而，较长的响应时间（10到20秒）和潜在的高计算资源消耗可能影响用户体验和成本，因此OpenAI考虑设置消息发送频率上限，并提供更高价位套餐以满足快速响应需求。

无问芯穹，一家成立仅一年有余的AI创业公司，近获近5亿A轮融资，总融资额逾10亿，成为AI基础设施领域融资之王。其股东阵容包括国资、地方基金、知名风险投资机构如顺为资本和达晨财智等。公司创始人之一汪玉，是清华大学电子系系主任，团队成员多为清华背景，研究经验丰富。2016年，由清华NICS-EFC实验室孵化的深鉴科技被赛灵思以3亿美元收购。无问芯穹专注于通过软硬件协同优化提升算力效率，符合大模型时代需求。其旗舰产品Infini-AI异构云平台支持多种芯片混合训练，降低模型落地成本，目标是未来实现成本降低10000倍，展现巨大潜力。

苹果公司即将发布的iPhone17系列有望搭载12GB RAM，以满足未来AI大模型的内存需求。当前的iPhone15Pro和iPhone16系列的8GB RAM已不足以支持如70亿参数级别的大模型。一个130亿参数的大模型至少需要5GB内存，且系统和应用占用后，8GB RAM难以提供足够的空间。12GB RAM的配置能为更大规模的AI模型提供充足空间，预示着智能手机市场将迈向内存容量增加的新阶段，引领智能技术发展。

国产AI芯片设计公司燧原科技，已启动A股上市辅导进程，正式启动IPO。成立于2018年的燧原科技专注于AI领域的云端算力产品研发，产品包括AI加速卡、智算集群及相关软件和平台。公司创始人赵立东和张亚林均具备深厚的技术背景。成立一年后，燧原科技推出第一代AI训练芯片邃思1.0，现发展至第二代邃思2.0，并研发多款AI推理芯片。在短短六年内完成十轮融资，总额近70亿元人民币，估值达到160亿元，位列全球独角兽榜第482位。腾讯为第一大股东，持股20.49%。目前，无单一股东持股超过30%，创始人合计掌握32.51%表决权。

领航者2号NAVIAI，由浙江人形机器人创新中心全自主研发，是一款人形机器人，以1.65米身高、60公斤体重、41个自由度和275Tops的AI算力，展现卓越性能与高度拟人化设计。具备流畅自然的动作执行能力，能完成复杂任务如演讲、泡茶、下棋，展示极高的拟人化动作映射执行能力。在展会现场，不仅作为主持人，还展示了快速学习新动作的能力以及在工业场景中的高精度作业能力。具备类人具身智能导航技术，能在开放和复杂场景中进行鲁棒的语义交互和精准的物体抓取。领航者2号在家庭服务、教育、培训、展览、客服等领域具有广泛的应用潜力。这一成果标志着国产人形机器人技术的领先地位，为未来人形机器人产业的发展提供了新的方向。

英伟达开源了两款新型大模型Nemotron-4-Minitron-4B和Nemotron-4-Minitron-8B，采用结构化剪枝和知识蒸馏高效训练方法，显著降低训练需求，减少数据和算力消耗。与传统方法相比，新模型的训练token数据减少40倍，算力成本节省1.8倍。通过优化Llama-3.18B，结构化剪枝简化模型结构，知识蒸馏提升性能，Minitron-4B和Minitron-8B在MMLU上的评分提升16%，性能媲美Mistral7B等知名模型。这一开源举措展示了英伟达在AI领域的领导地位，并为AI社区提供了宝贵资源，推动AI技术向更高效、更智能方向发展。

Meta作为Llama基础语言模型的开发者，指出未来训练模型所需的计算力将显著增加，预计训练Llama4的计算量将是Llama3的10倍。面对这一趋势，Meta强调了提前构建训练模型能力的重要性，以避免在竞争中落后。Meta已发布拥有800亿参数的Llama3和其升级版Llama3.1，参数达到4050亿，成为其最大的开源模型。为适应未来模型需求，Meta正在考虑不同数据中心项目，并预计这将增加2025年的资本支出。训练大型语言模型成本高昂，Meta在服务器、数据中心和网络基础设施方面的投资在2024年第二季度增长了近33%，达到85亿美元。

杭州市政府推出《支持人工智能全产业链高质量发展的若干措施》，旨在打造全国人工智能产业发展高地。该措施聚焦算力设施建设、开放生态构建、赋能实体经济、全产业链发展和人才队伍支撑，提出14项具体举措。核心内容包括支持算力技术攻关、加大融资贴息力度、扩容“算力券”发放、鼓励模型合规备案与开源社区建设、支持公共创新平台建设与新型工业化应用示范等。措施旨在通过财政补贴、政策引导等手段，促进人工智能技术在算力、模型开发与应用、制造业创新等领域的深入发展，推动杭州市人工智能产业的高质量增长。

在2024年中国联通合作伙伴大会上，百度集团执行副总裁沈抖发表演讲，主题为“深度拥抱人工智能+，加快发展新质生产力”。他阐述了随着大模型应用场景的加速发展，企业的底层算力需求持续增长，因此一云多芯成为必然选择。百度智能云计划开放百舸算力平台，提供芯片选择自由，并基于文心大模型开发千帆工具链平台，以降低大模型技术门槛和使用成本。沈抖强调人工智能重要性，指出大模型的应用潜力不仅仅体现在爆款产品，还在于其对各产业环节的渗透。通过自主研发的百舸算力平台以及千帆工具链平台，百度在多芯混合训练中控制性能损失，加速大模型迭代，并推出了千帆·行业增强版，提供了包括行业大模型、知识与智能体在内的丰富的增强能力。举例说明，百度与中华全国总工会合作开发了AI法律咨询助手，以及通过视觉AI在矿山安全生产中的应用，展示了大模型的高效应用效果。沈抖强调百度将与联通合作，共同驱动产业升级，用科技简化复杂世界，推动创新发展。

DeepMind团队最近发布了一项突破性的研究成果，针对人工智能领域长期存在的算力与时间限制问题提供了创新解决方案-名为JEST的全新数据筛选方法。JEST通过智能筛选最佳数据批次，而不是单个样本，大幅提高了训练效率，将AI训练时间缩短13倍，算力需求降低90%。这种策略在多模态学习中尤为有效，与传统方法相比，不仅减少了迭代次数和浮点运算次数，而且只需10%的FLOP预算就能超越最先进水平。JEST的核心原理在于通过在线模型近似技术和评估数据点的可学习性，选择相对容易学习的数据点作为训练素材，以此提高训练效率和效果。此外，通过使用基于阻塞吉布斯采样的迭代方法构建数据批次，JEST在处理大量数据时性能持续优化。此项工作不仅为AI训练领域带来了革命性的飞跃，为未来人工智能的发展提供了新的思路和方法论，有望开启人工智能更广阔的应用前景。

在全球科技竞争日益激烈的今天，中国在算力领域取得了显著成就。工业和信息化部负责人在2024年世界人工智能大会上宣布，我国算力规模已跃居全球第二。

["高新发展是总市值超300亿元的算力龙头","公司股票存在短期大幅上涨","静态市盈率为156.31倍，明显高于行业均值","公司披露了购买华鲲振宇智能科技公司股权的交易预案","近期股价大幅上涨，尚未完成交易标的资产审计评估工作","龙虎榜数据显示有大额资金资金买入"]

["金开新能公告称，子公司与百信信息签署《战略合作框架协议》","双方拟于绿色算力中心、绿电及产业链整合方面构建全面战略合作伙伴关系"]

["英伟达四季度营收、利润暴涨并超出分析师预期","英伟达连续三个季度创纪录","全球各地的公司、行业和国家对AI的需求激增","数据中心基础设施规模预计将在5年内翻番"]

["2024年，大模型正全面崛起，各行业争相布局。","大模型不仅提高生产力，还在数字化进程中发挥重要作用。","挑战之一是大模型对行业理解深度不足，内容生成可信度问题。","算力不足成为制约大模型发展的重要因素。","未来算力发展趋势包括专用算力、分布式训练、能耗可持续性、软硬结合。"]

["百川智能与鹏城实验室宣布合作研发基于国产算力的最长窗口大模型","合作突破了国产算力大模型的技术限制","具有示范作用","推动本土大模型开源开放","为智能化转型提供支持"]

["昆仑万维第三季度营收增长 8%","研发费用提升至 6.2 亿元","已有算力满足未来 1~2 年需求","海外布局取得重要进展","推出前沿 AI 功能的 Opera 浏览器 AI 助手 Aria"]

["代表方吴恩达认为,数据和机器学习结合,会持续强化科技市场领导者的主导地位。","代表方A16Z合伙人认为,每个模型只能做一件事,更多数据不一定带来更好的产品。","不同行业、不同用例,“赢家通吃”的情况各不相同,需要具体分析。","互联网时代的投资逻辑在AI时代行不通,因为算力是有成本的。","小型、专业化的长尾模型也有优势,财富分配会更平均。"]

["华为高级副总裁、运营商BG总裁李鹏在全球移动宽带论坛上表示，大模型为代表的AI应用发展带来对智能算力的爆发式需求。","李鹏认为，数字经济时代，5G引领互联网通用技术的突破，重构了数智经济的新范式，各种创新正在加速到来。","数智经济未来发展的五大趋势已愈发清晰，到2025年，智能算力需求将达到当前的100倍。","为了充分释放这些算力潜能，需要更先进的网络能力，需要更大的带宽、更低的时延、才能更好的「联接智能」，同时网络需要「内生智能」，持续提升自动化、智能化水平。","5G已经走在商业成功的正确道路上，而5G-A是5G发展的自然选择。"]