Em 25 de fevereiro, a equipe técnica de varejo da JD.com anunciou o lançamento oficial e a abertura completa de sua plataforma de geração de conteúdo AIGC, Jing Dian Dian, desenvolvida internamente. Seu objetivo é fornecer aos comerciantes de e-commerce uma solução de geração de conteúdo eficiente e de baixo custo por meio da tecnologia de IA. Atualmente, a plataforma abrange mais de 20 cenários principais, com mais de 10 milhões de chamadas de capacidade de IA por dia, auxiliando mais de 350.000 comerciantes da JD.com a gerar imagens de produtos, textos de marketing e vídeos de imagens principais de alta qualidade com apenas um clique, melhorando significativamente a eficiência da produção de conteúdo e reduzindo os custos de produção.
O lançamento da plataforma Jing Dian Dian AIGC marca um grande avanço tecnológico da JD.com na área de geração de conteúdo de e-commerce. Baseada em várias capacidades de IA, a plataforma transforma o modo tradicional de produção de conteúdo de e-commerce, abrangendo imagens, textos e vídeos. Sem necessidade de profissionais, até mesmo usuários comuns podem gerar facilmente materiais de conteúdo de e-commerce profissionais. Atualmente, a Jing Dian Dian lançou duas capacidades principais de AIGC: geração de imagens de produtos por IA e geração de textos de marketing por IA.
Na geração de imagens de produtos por IA, o usuário precisa apenas carregar uma imagem comum do produto ou uma imagem em fundo branco. O sistema automaticamente recorta a imagem e, com base nos dados de e-commerce, recomenda modelos de cena adequados para gerar imagens de cena de produtos de alta qualidade. Além disso, o sistema também pode adicionar textos de pontos de venda principais do produto e pontos de interesse de marketing por IA, gerando materiais como imagens principais, imagens detalhadas e imagens de marketing. A geração de textos de marketing por IA permite que o usuário insira o número do SKU ou o nome do produto da JD.com. O sistema extrairá informações de pontos de venda de produtos relacionados e gerará textos de marketing precisos de acordo com o estilo de texto solicitado pelo usuário.
Para resolver os desafios técnicos da geração de conteúdo de IA na área de e-commerce, a Jing Dian Dian fez várias inovações tecnológicas. Primeiro, a plataforma treinou o modelo base de imagem a partir de texto da JD.com com uma grande quantidade de dados de imagens de varejo, usando a estrutura DiT (Diffusion Transformer) e a tecnologia Flow Matching para melhorar significativamente a eficiência e a qualidade da geração de imagens. Em segundo lugar, a Jing Dian Dian desenvolveu internamente o ReferenceNet e o ControlNet para realizar a injeção precisa da consistência das características da imagem e o controle preciso do contorno, estilo e layout da imagem, garantindo o realismo e a consistência da imagem gerada. Na geração de textos de marketing, a Jing Dian Dian desenvolveu um modelo de compreensão de produtos multimodais, combinando o esquema RAG e o conhecimento do produto para gerar textos de marketing precisos e de estilos diversos. Além disso, a plataforma também introduziu um mecanismo de aprendizado por reforço para otimizar o modelo de geração com base no feedback do usuário e nos dados do produto, melhorando a qualidade da produção de conteúdo.
Os resultados da aplicação da plataforma Jing Dian Dian AIGC são notáveis. Atualmente, a plataforma está totalmente aberta para comerciantes, parceiros ecológicos e funcionários internos da JD.com e está integrada a produtos B-end principais da JD.com, como recorte inteligente, textos inteligentes e geração de imagens de cena de produtos. A eficiência da produção de imagens de produtos e textos de marketing dos usuários aumentou em mais de 95%, e o custo foi reduzido em mais de 99%. Tomando como exemplo as imagens de cena 2D de decoração de interiores, a produção manual tradicional leva uma semana e custa mais de 10.000 yuans, enquanto a geração de imagens por IA da Jing Dian Dian leva apenas alguns uploads de imagens de produtos para gerar rapidamente imagens de alta qualidade, sem a necessidade de designers profissionais ou espaço físico.
A Jing Dian Dian também adota de forma inovadora um esquema de aceleração de modelos grandes e uma tecnologia de inferência combinada de modelos grandes e pequenos para melhorar significativamente a eficiência do uso de recursos. Em comparação com o esquema tradicional de modelos grandes únicos, a Jing Dian Dian reduz o investimento em recursos em até 90% com a mesma qualidade de geração de conteúdo. Por meio do design modular e do mecanismo de injeção de conhecimento de domínio, a Jing Dian Dian garante a alta adaptabilidade e extensibilidade do sistema em diferentes cenários de e-commerce.
Experiência no site: https://ai.jd.com