ByteDance responde a rumores de 'estagiário sabotando treinamento de modelo': sem impacto em projetos comerciais oficiais

AIbase基地

Publicado emNotícias e Informações de IA · 4 minutos de leitura · Oct 21, 2024

229

A ByteDance respondeu recentemente aos rumores sobre um estagiário que teria sabotado o treinamento de um grande modelo de linguagem. A empresa confirmou que um estagiário, de fato, interferiu maliciosamente no treinamento de um modelo de pesquisa de uma equipe de tecnologia comercial, mas essa ação não afetou os projetos comerciais oficiais ou as operações online da empresa, nem outros grandes modelos de linguagem da ByteDance.

Além disso, a ByteDance afirmou que as informações divulgadas online sobre "mais de 8.000 placas de vídeo e milhões de dólares em perdas" são uma grande exageração.

De acordo com reportagens, durante seu estágio na equipe de tecnologia comercial da ByteDance, o estagiário, insatisfeito com a alocação de recursos da equipe, explorou uma vulnerabilidade na plataforma Hugging Face, usando código malicioso para sabotar o treinamento do modelo.

Atualmente, o estagiário foi demitido, e a ByteDance relatou o incidente à associação do setor e à universidade do estagiário.

Especialistas em segurança de tecnologia apontam que este incidente expôs problemas de gestão de segurança no treinamento tecnológico da ByteDance, onde a empresa não implementou adequadamente o isolamento de permissões e auditoria de código compartilhado. Normalmente, todas as grandes alterações de código devem ser auditadas, deixando um rastro de todas as ações, independentemente de quem as tenha realizado; uma única pessoa não conseguiria modificar o código sozinha.

Recentemente, a ByteDance tem investido fortemente em tecnologia de IA. Além do popular chatbot Doubao, a empresa também desenvolveu ferramentas como o gerador de vídeos com IA, JiMeng, e o gerador de música com IA, Haimian Music.

Além disso, a ByteDance planeja investir cerca de 1 bilhão de ringgit malaios (aproximadamente US$ 2,13 bilhões) em um centro de IA na Malásia para impulsionar o desenvolvimento da economia digital na região. Isso demonstra a determinação e o investimento da ByteDance no campo da IA.

Moonlight e UCLA lançam novo modelo Mixture-of-Expert para melhorar a eficiência do treinamento de modelos de linguagem

No campo da inteligência artificial, o treinamento de modelos de linguagem de grande escala (LLMs) tornou-se uma força motriz para o avanço tecnológico. No entanto, com o aumento contínuo do tamanho dos modelos e dos conjuntos de dados, os métodos de otimização tradicionais — especialmente o AdamW — estão mostrando suas limitações. Os pesquisadores enfrentam uma série de desafios, incluindo altos custos computacionais, treinamento instável, como desaparecimento ou explosão de gradiente, atualizações inconsistentes da matriz de parâmetros e altas demandas de recursos em ambientes distribuídos. Portanto, há uma necessidade urgente de técnicas de otimização mais eficientes e estáveis para lidar com essas complexidades. Para

Li Yanhong discute o treinamento de modelos de IA de próxima geração: foco em progresso tecnológico e redução de custos

Em 11 de fevereiro de 2025, no World Governments Summit em Dubai, nos Emirados Árabes Unidos, o fundador do Baidu, Li Yanhong, teve uma conversa profunda com o Ministro de IA dos Emirados Árabes Unidos, Omar Sultan Al Olama, discutindo as tendências futuras do desenvolvimento da infraestrutura de IA. Durante a conversa, Al Olama mencionou o recente DeepSeek que chamou a atenção global, levando a grandes flutuações nos preços das ações de várias grandes empresas de chips e bolsas de valores, e perguntou a Li Yanhong sobre sua perspectiva sobre o futuro dos data centers e da infraestrutura de IA.

Tencent solicita patente para 'método de treinamento de modelo de linguagem grande', melhorando a capacidade de generalização e a precisão do modelo

O aplicativo Tianyancha mostra que a Tencent Technology (Shenzhen) Co., Ltd. solicitou recentemente uma patente chamada "Método de treinamento de modelo de linguagem grande, dispositivo, equipamento de computador e mídia de armazenamento". O resumo desta patente revela que o método introduz um primeiro texto de resumo e um segundo texto de resumo, fornecendo ao modelo mais informações para aprendizagem durante o processo de treinamento do modelo de linguagem grande. De acordo com a descrição da patente, a quantidade de informações contidas no primeiro texto de resumo e no segundo texto de resumo é diferente, sendo que o primeiro texto de resumo também contém frases corretas e frases incorretas. Através dessas duas descrições do mesmo texto,

Tencent publica nova patente para treinamento de modelos de linguagem de grande porte, melhorando a generalização e a precisão do modelo

Recentemente, a Tencent Technology (Shenzhen) Co., Ltd. divulgou no aplicativo Tianyancha uma patente sobre métodos de treinamento e equipamentos relacionados a modelos de linguagem de grande porte. A patente, intitulada “Método de treinamento, dispositivo, equipamento de computador e meio de armazenamento para modelos de linguagem de grande porte”, visa melhorar a capacidade de aprendizado e a precisão dos modelos de linguagem de grande porte por meio de métodos de treinamento inovadores. No treinamento de modelos de linguagem de grande porte, os métodos tradicionais costumam depender de apenas um resumo de texto, o que pode levar a um ajuste excessivo do modelo, afetando a precisão e a diversidade do conteúdo gerado. No entanto, a nova abordagem da Tencent...