大模型（LLM）如GPT、Llama等在人工智能领域掀起了一场革命，但如何高效地训练这些庞大的模型并使其符合人类价值观仍然是一个难题。强化学习与人类反馈（RLHF）作为一种重要的LLM训练方法，近年来得到广泛应用，但传统的RLHF框架在灵活性、效率和可扩展性方面存在局限性。为解决这些问题，字节跳动豆包大模型团队开源了名为HybridFlow的RLHF框架，为LLM训练带来了新的可能性。RLHF通常包含三个阶段:首先，actor模型根据输入的提示生成文本;然后，critic模型、reference模型和reward模型对生成

字节跳动悄然布局AI社区新战场，其内部孵化的AI平台炉米Lumi日前引发业界关注。这个定位为AI模型分享社区的平台，虽仍处于白名单测试阶段，但其完整的生态布局已初现雏形。作为字节跳动在AI领域的重要布局，炉米Lumi的核心定位是打造一个融合模型分享、工作流搭建和模型训练的综合性平台。在AI技术加速渗透各行业的背景下，这一平台的出现或将为开发者和研究人员提供更便捷的协作环境。平台的三大核心功能各具特色:首先是模型分享与管理系统，允许用户自由上传和展示AI模型，

日前，字节跳动低调的上线了推出了一个名为“炉米 Lumi ”的AI模型分享社区，平台集成了模型分享、Workflow 搭建以及 LoRA 训练等多种功能，不过该平台目前还处于内部测试阶段。产品入口:https://top.aibase.com/tool/lumilumi炉米 Lumi 的核心亮点就是模型分享与管理功能。用户可以轻松上传自己开发的 AI 模型，并在社区中与其他人分享。这种开放的机制有助于打破信息壁垒，促进跨领域的合作与交流。大家可以借鉴彼此的成果，从而进一步推动 AI 模型的创新。平台还支持用户搭建 AI 工作流程。用

10 月 31 日讯 字节跳动悄然上线了一款名为"炉米Lumi"的AI模型分享社区平台。据悉，该平台将提供模型上传分享、Workflow搭建以及LoRA训练等功能，目前仍处于内测阶段，仅向白名单用户开放。

字节跳动近期针对“实习生破坏大模型训练”的传闻进行了官方回应。该公司确认，确实有一名实习生恶意干扰了商业化技术团队的研究项目模型训练任务，但这一行为并未影响到公司的正式商业项目和线上业务，也没有涉及到字节跳动的其他大型模型业务。此外，字节跳动还指出，网络上流传的“涉及8000多卡、损失上千万美元”的说法是严重夸大的。据公开报道，该实习生在字节跳动商业化技术团队实习期间，因对团队资源分配不满，利用了Hugging Face平台的漏洞，使用攻击代码破坏了团

字节跳动研究团队近日推出的第二代机器人大模型GR-2（Generative Robot2.0）正在引发业界广泛关注。这款智能机器人不仅标志着机器人大模型技术的重大突破，更预示着智能机器人应用即将迎来一个全新纪元。GR-2的独特之处在于其创新的学习方式。研发团队采用了模仿人类成长过程的训练方法，让GR-2经历了一个类似"机器人婴儿期"的学习阶段。在预训练阶段，GR-2"观看"了多达3800万个来自各类公开数据集的互联网视频，涵盖了家庭、户外、办公室等多种日常场景。这种独特的"看视频学习"方法

在今日的2024火山引擎 AI 创新巡展上，出了视频生成模型，字节跳动还发布了豆包·音乐模型和豆包·同声传译模型，并宣布对豆包通用模型pro、文生图模型、语音合成模型等垂类模型进行了大幅升级。豆包·音乐模型的推出，标志着火山引擎在音乐创作领域的深度布局。该模型通过强大的算法支持，实现了高品质的音乐创作自由。歌词生成方面，仅需简单几个字的输入，即可快速生成情感表达精准、意境深远的歌词内容。旋律创作上，豆包·音乐模型提供了超过10种不同的音乐风格和情绪表达选项，满足了创作者多样化的需求。

在2024年火山引擎AI创新巡展上，火山引擎总裁谭待揭晓了最新的豆包·视频生成模型。该模型具备多项先进技术，包括高效的DIT融合计算单元，这一单元能够实现视频和文本的深度压缩编码;同时，它采用了一种全新的扩散模型训练方式，确保了在生成多镜头视频时的一致性;此外，模型还整合了深度优化的Transformer结构，显著增强了视频生成的泛化能力。

今日，字节跳动火山引擎宣布，豆包大模型将在9月24日发布视频生成模型，并将带来更多模型家族的能力升级。据了解，豆包大模型在2024年5月15日的火山引擎原动力大会上正式发布。

近日，有国外媒体报道称字节跳动正加快自行研发制造AI芯片的步伐，以减少对英伟达昂贵芯片的依赖。报道声称，字节跳动计划与台积电合作，预计在2026年量产两款自研AI芯片，并已预订数十万片芯片的产量。更引人注目的是，报道指出字节跳动的目标是在成本相近的情况下，使自研芯片驱动的集群实现四倍于单个H100芯片的计算性能。对此，字节跳动迅速对这一报道作出回应。公司相关负责人表示，媒体的报道内容不实。该负责人承认字节跳动确实在芯片领域有所探索，主要是围绕推荐

最近，外媒The Information报道称，字节跳动正在加快研发自家 AI 芯片，并计划与台积电合作，希望能在2026年实现量产。报道还称，字节跳动此举是为了减少对英伟达芯片的依赖，降低开发和运作 AI 模型的成本。图源备注:图片由AI生成，图片授权服务商Midjourney根据《科创板日报》报道 ，针对今日媒体报道的字节跳动计划与台积电就AI芯片开展合作，字节方面回应表示，报道不实。字节跳动在芯片领域确实有一些探索，但还处于初期阶段，主要是围绕推荐、广告等业务的成本优化，所有项目也

​近日，字节跳动旗下AI智能助手品牌豆包的教育应用“豆包爱学”完成了全新升级。这款应用旨在成为学习者的智能伙伴和家庭教育的得力助手，为新学期的学习提供支持。“豆包爱学”推出了多项辅助学习功能，包括答疑解惑、作业批改、知识问答、作文辅导和口算练习等，以适应家庭教育的多样化需求。

字节跳动开源的FLUX Dev的Hyper SD Lora，以其高效的图片生成能力，革新了AI绘图速度，将传统步骤繁多、耗时长的过程缩短至8步或16步。此举不仅为创意实现提供了快速通道，更在Huggingface上设立演示空间，让用户直观体验8步Lora的绘图效果。尽管在画质上有所折损，但对大多数用户而言，影响不大。通过对比示例，可见在不放大情况下，折损不明显。此开源模型为AI绘图领域带来了速度与效率的飞跃，对创意工作者具有重大意义。

字节跳动正秘密筹备成立大模型研究院，旨在加强在人工智能大模型领域的布局。该研究院已吸引到业内顶尖人才，包括原面壁智能核心成员秦禹嘉和原零一万物核心成员黄文灏的加入。黄文灏将负责技术项目管理和规划，直接向创始人张一鸣汇报。字节跳动的这一举措，显示了其在AI大模型研发上的长期计划和积极布局，意在通过引入外部专家，推动技术进步，以在竞争激烈的市场中占据优势地位。朱文佳领导的团队已开始专注于大型模型的研发，他拥有在百度和今日头条的丰富经验，并在TikTok担任过产品技术负责人。尽管目前尚未决定是否建立独立的研究机构，字节跳动的这一系列动作表明其在AI大模型领域的决心和投入。

Andreessen Horowitz 发布的《Top100消费级生成式AI应用》第三版报告，揭示了当前流行的 AI 应用及其使用趋势。报告显示，内容生成工具，尤其是图像、视频、音乐领域的产品，占据了网页应用的主导地位，52% 的网页产品专注于此。音乐生成工具 Suno 表现亮眼，排名大幅提升。移动应用方面，图像和视频编辑工具受到用户欢迎，ChatGPT 居于榜首。字节跳动旗下豆包首次进入移动端榜单，显示了公司在 AI 领域的强劲实力。值得关注的是，新的审美和约会类应用如 Looks AI 和 Umax 也首次进入排行榜。整体市场活跃，近30% 公司首次上榜，显示了生成式 AI 应用的快速发展。

在2024年8月21日的火山引擎AI创新巡展上海站上，火山引擎展示了豆包大模型的全面升级，包括豆包·文生图模型对长文本有更精准的图文匹配能力，豆包·语音识别模型在多个公开测试集中的错误率最高降低40%，以及豆包·语音合成模型升级了流式语音合成能力，能够实时响应、精准断句。火山引擎还发布了对话式AI实时交互解决方案，整合豆包大模型和实时音视频技术，提供端到端的大模型实时对话方案，让AI交互体验更强。此外，火山引擎与多点DMALL联合成立零售大模型生态联盟，与汽车大模型生态联盟增加新成员，旨在推动零售和汽车行业的智能化升级。

字节跳动推出的Seed-ASR引擎，通过海量训练数据，实现了对普通话、13种中国方言及7种外语的高精度识别，显著提升了跨语言交流的便利性。其关键优势在于出色的上下文感知能力，能结合历史信息准确识别人名、地名和关键词，尤其在特定场景下表现优异，提升识别精度。无论是在日常对话、复杂会议还是多人交谈、背景噪音环境中，Seed-ASR均能精准转录。它还能识别各种专业领域术语，适用于智能助手、语音搜索等场景，大幅改善用户体验。

字节跳动与上海科技大学的研究团队开发了一项名为“HeadGAP”的创新技术，仅通过三张不同视角的照片，即可快速生成高仿真、可动画化的3D虚拟人头部形象，并实现面部表情同步。研究过程中，团队首先从大型多视角动态数据集中提取3D头部先验信息，用于个性化定制生成目标人物的虚拟头像。采用基于高斯点云的自解码网络和部分动态建模，结合反演和微调策略，高效实现高质量、多视角一致性头像的个性化制作。该成果在虚拟社交、游戏开发等领域有广泛应用前景，实验显示生成的3D头像在渲染质量和动画效果上表现出色。

今日，字节跳动宣布，豆包大模型支持实时语音通话的新功能。据悉，火山引擎提供的对话式 AI 实时交互解决方案，结合了火山方舟大模型服务平台和豆包的语音识别与合成模型，简化了语音到文本和文本到语音的转换过程。这一方案实现了高效的语音数据采集、处理和传输，提供了卓越的智能对话和自然语言处理能力。

上海交通大学与字节跳动合作开发的LSLM全双工语言模型，颠覆了传统AI助手交互模式，实现边说边听的实时交互。LSLM核心优势在于其同时处理语音输入与生成输出的能力，显著提升对话自然流畅性。通过结合流式自监督学习与基于token的解码器，该模型支持实时语音交互，甚至在嘈杂环境中表现优异。LSLM的中期融合策略在语音生成与实时交互间取得最佳平衡，展现强大噪声抵抗与指令敏感性。此技术突破不仅大幅提升了用户体验，还具有广泛的应用前景，预示着人机交互新时代的来临，AI助手将与人类对话更加自然、流畅，技术与人性的融合达到新高度。