A conta oficial do Fluxo de Silício anunciou que, a partir de agora, as APIs DeepSeek-R1 e V3 da plataforma SiliconCloud suportam inferência em lote (Batch Inference). Os usuários podem enviar solicitações em lote para o SiliconCloud via API, sem restrições de taxa de inferência em tempo real, com expectativa de conclusão da tarefa em 24 horas. Em comparação com a inferência em tempo real, o preço da inferência em lote do DeepSeek-V3 foi reduzido em 50%. Além disso, de 11 a 18 de março, o DeepSeek-R1 terá um desconto de 75%.

A plataforma SiliconCloud lança oficialmente o recurso de inferência em lote (Batch Inference) para as APIs DeepSeek-R1 e V3. Os usuários agora podem enviar solicitações em lote para o SiliconCloud, eliminando as restrições de taxa de inferência em tempo real e concluindo tarefas de processamento de dados em larga escala em até 24 horas. Um destaque importante desta atualização é a significativa redução de preços. O preço da inferência em lote do DeepSeek-V3 é consideravelmente menor em comparação com a inferência em tempo real.

A Cerebras Systems anunciou recentemente a construção de seis novos data centers na América do Norte e na Europa para aumentar sua capacidade de inferência de inteligência artificial (IA). Essa iniciativa aumentará significativamente a capacidade de computação da empresa, apoiando o desenvolvimento de vários aplicativos de IA. De acordo com o plano, 85% da capacidade computacional estará concentrada nos EUA, com três instalações já em operação em Santa Clara, Stockton (Califórnia) e Dallas (Texas). Os próximos centros serão localizados em Minneapolis (previsto para o segundo trimestre de 2025), Oklahoma City e Montreal.

A Hedra anunciou recentemente o lançamento do seu novo modelo de IA, o Character-3, e do Hedra Studio, uma plataforma que permite inferência conjunta de imagem, texto e áudio. Esta inovação representa um grande avanço na tecnologia de avatares digitais, permitindo uma interação mais natural e realista.

Recentemente, as notícias sobre a Silicon Valley Flow ter concluído uma rodada de financiamento Pré-A geraram uma discussão sobre o desenvolvimento inicial da empresa. O jornal de investimentos relatou anteriormente que, no segundo semestre de 2023, Liang Wenfeng, fundador da DeepSeek, propôs investir na Silicon Valley Flow, com a condição de que o mecanismo de inferência LLM de sua própria pesquisa fosse de código aberto, mas foi recusado pelo CEO da Silicon Valley Flow, Yuan Jinhui. Em resposta, Yuan Jinhui fez uma declaração no círculo de amigos hoje, negando a afirmação acima. Ele disse que mencionar a falta de colaboração com Liang Wenfeng em 2023 foi uma expressão de arrependimento por sua própria falta de visão.

Na área de inteligência artificial, a equipe DeepSeek lançou recentemente sua mais nova pesquisa, apresentando um mecanismo inovador de atenção esparsa chamado NSA (Native Sparse Attention). O objetivo principal dessa tecnologia é acelerar o treinamento e a inferência de contexto longo, especialmente otimizado para hardware moderno, resultando em um aumento significativo na eficiência de treinamento e inferência. O lançamento da tecnologia NSA trouxe mudanças significativas para o treinamento de modelos de inteligência artificial. Primeiramente, por meio de uma série de otimizações para hardware de computação moderno,

A equipe de modelos grandes do ByteDance Doubao anunciou hoje o desenvolvimento bem-sucedido da nova arquitetura de modelo esparso UltraMem. Essa arquitetura resolve eficazmente o problema de alto acesso à memória durante a inferência do modelo MoE (Mixture of Experts), aumentando a velocidade de inferência em 2 a 6 vezes e reduzindo o custo de inferência em até 83%. Esse avanço inovador abre um novo caminho para a inferência eficiente de modelos grandes. A arquitetura UltraMem resolveu com sucesso o gargalo de acesso à memória na inferência da arquitetura MoE, garantindo a eficácia do modelo. Os resultados experimentais mostram que, nas mesmas condições de parâmetros e ativação,

Hoje, a plataforma aberta da iFlytek anunciou o lançamento oficial de sua 807ª capacidade de IA - os modelos DeepSeek. Fornecidos pela DeepSeek de Hangzhou, os modelos DeepSeek incluem as versões DeepSeek-V3 e DeepSeek-R1, ambas com suporte para chamada de API em nuvem pública e implantação de modelo exclusivo com um clique. É particularmente digno de nota que a plataforma aberta da iFlytek também lançou o serviço de ajuste fino de modelos grandes DeepSeek, permitindo que os desenvolvedores personalizem modelos exclusivos "mais inteligentes e mais compatíveis" com base nos dados do cenário de negócios.

Recentemente, a DeepSeek lançou seus modelos DeepSeek-R1, V3, Coder e outros modelos de grande porte na plataforma de internet de supercomputação nacional (www.scnet.cn). Com o suporte da capacidade de computação de fusão superinteligente nacional e do sistema de serviço de computação nacional integrado, a indústria chinesa de modelos de IA de grande porte deu um passo crucial. A plataforma de internet de supercomputação nacional já lançou versões de 1.5B, 7B, 8B e 14B do modelo DeepSeek-R1. Os usuários podem experimentar a inferência online diretamente através de código QR ou site.

Recentemente, a startup Pipeshift lançou uma nova plataforma ponta a ponta para ajudar empresas a treinar, implantar e escalar modelos de IA generativa de código aberto de forma mais eficiente. A plataforma pode ser executada em qualquer ambiente de nuvem ou GPU local e melhora significativamente a velocidade de inferência e reduz custos. Com o rápido desenvolvimento da IA, muitas empresas enfrentam o desafio de alternar eficientemente entre vários modelos. Tradicionalmente, as equipes precisam construir um sistema MLOps complexo, envolvendo aquisição de recursos computacionais, treinamento de modelos e...

Uma equipe de pesquisa da Universidade de Nova York, MIT e Google apresentou recentemente uma estrutura inovadora para abordar o gargalo do tempo de inferência em modelos de difusão. Essa pesquisa inovadora vai além dos métodos tradicionais de simplesmente aumentar as etapas de denoising, abrindo novos caminhos para melhorar o desempenho dos modelos geradores. A estrutura se concentra em duas dimensões principais: usar um validador para fornecer feedback e implementar um algoritmo para encontrar melhores candidatos a ruído. A equipe de pesquisa usou um modelo SiT-XL pré-treinado com resolução de 256×256 como base, mantendo 250 etapas fixas de denoising...

Com a ampla adoção de modelos de linguagem grandes (LLMs) em aplicações modernas de IA, ferramentas como chatbots e geradores de código dependem da capacidade desses modelos. No entanto, os problemas de eficiência no processo de inferência também estão se tornando cada vez mais proeminentes. Principalmente ao lidar com mecanismos de atenção, como FlashAttention e SparseAttention, que frequentemente se mostram insuficientes diante de cargas de trabalho diversas, padrões de entrada dinâmicos e restrições de recursos de GPU. Esses desafios, somados a alta latência e gargalos de memória...

Recentemente, o pesquisador chinês da Universidade de Harvard, Jeffrey Wang, juntou-se oficialmente à OpenAI como pesquisador na equipe fundamental, focando em pré-treinamento e inferência de modelos. Essa notícia gerou grande atenção, e o cofundador e presidente da OpenAI, Greg Brockman, também deu as boas-vindas a Jeffrey em primeira mão. A formação acadêmica de Jeffrey Wang é bastante impressionante. Ele se formou em um ensino médio na Califórnia, onde...

Na era do rápido desenvolvimento da inteligência artificial, o nível de inteligência dos grandes modelos está continuamente melhorando, mas os desafios de eficiência do sistema de inferência também estão se tornando cada vez mais evidentes. Como lidar com altas cargas de inferência, reduzir os custos de inferência e reduzir o tempo de resposta tornou-se um problema importante enfrentado pela indústria. A empresa Kimi, em conjunto com o laboratório MADSys da Universidade Tsinghua, lançou um esquema de design de sistema de inferência Mooncake baseado em KVCache, que foi oficialmente lançado em junho de 2024. O sistema de inferência Mooncake por meio de criações