A Beijing Baichuan Intelligent Technology Co., Ltd. anunciou recentemente o lançamento de sua solução completa, projetada para ajudar as empresas a implementarem modelos de linguagem grandes (LLMs) de forma privada com baixo custo e alta eficiência. Essa solução inclui dados de treinamento gerais de alta qualidade para toda a cadeia, os dois modelos Baichuan4-Turbo e Baichuan4-Air, e uma cadeia de ferramentas de aprimoramento de domínio completa, capaz de atender às necessidades das empresas em diferentes cenários.
Os dois modelos, Baichuan4-Turbo e Baichuan4-Air, alcançaram uma taxa de utilização em múltiplos cenários de até 96% através do ajuste misto com dados proprietários das empresas, uma taxa líder no setor. A solução da Baichuan Intelligent Technology, ao fornecer dados de treinamento gerais de alta qualidade com distribuição altamente consistente com os dados do modelo original, combinada com algoritmos como busca dinâmica de hiperparâmetros e proporção adaptativa, melhora significativamente o desempenho do modelo.
Em termos de custo, o custo de implantação do Baichuan4-Turbo e o custo de inferência do Baichuan4-Air são os mais baixos da categoria. O Baichuan4-Turbo apresenta melhorias significativas em capacidades essenciais como geração de texto, perguntas e respostas baseadas em conhecimento e processamento de várias línguas, e requer apenas 2 GPUs 4090 para implantação, com custo de inferência de apenas 15% do Baichuan4. Já o custo de inferência do Baichuan4-Air é apenas 1% do Baichuan4, custando apenas 0,98 yuan para um milhão de tokens, reduzindo significativamente os custos operacionais das empresas.
O Baichuan4-Air é o primeiro modelo da Baichuan Intelligent Technology a adotar a arquitetura MoE (Mixture of Experts), com sua estrutura PRI (Pyramid, Residual, Interval) que, mantendo inalteradas as estruturas internas MLP e Attention, otimiza a configuração do número de especialistas e estratégias de ativação, equilibrando a carga de cálculo, reduzindo a quantidade de cálculos e aumentando a velocidade de inferência.
Além disso, a cadeia de ferramentas de aprimoramento de domínio completa fornecida pela Baichuan Intelligent Technology é fácil de usar e abrange todo o processo de implantação do modelo, incluindo ferramentas para coleta, limpeza, aprimoramento, treinamento, avaliação, compressão e implantação de dados, ajudando as empresas a implantar e treinar modelos de forma criptografada de acordo com suas necessidades. A empresa já resolveu problemas de compatibilidade com diferentes hardwares e pode se adaptar de forma eficiente a vários chips principais.
O lançamento desta solução marca um passo importante da Baichuan Intelligent Technology no campo de aplicações de modelos de linguagem grandes, oferecendo às empresas uma opção de implantação de modelos de IA eficiente e de baixo custo.
Endereço: https://platform.baichuan-ai.com/homePage
