A Mozilla lançou recentemente uma ferramenta chamada LocalScore por meio de seu programa Mozilla Builders, destinada a fornecer um benchmark conveniente para modelos de linguagem grandes (LLMs) locais. Compatível com sistemas Windows e Linux, a ferramenta possui um grande potencial e se tornou um componente importante de frameworks de LLM fáceis de distribuir. Embora o LocalScore ainda esteja em estágio inicial de desenvolvimento, seu desempenho já é bastante impressionante.

image.png

O LocalScore foi desenvolvido com base na versão Llamafile 0.9.2 lançada na semana passada. Essa atualização tornou o LocalScore uma ferramenta de benchmark prática, capaz de avaliar o desempenho de modelos de linguagem grandes em CPUs e GPUs. Com essa ferramenta, os usuários podem medir facilmente o desempenho do sistema LLM, obtendo resultados rápidos e confiáveis.

image.png

Os usuários podem optar por chamar o LocalScore diretamente do pacote Llamafile ou usar arquivos binários LocalScore independentes para Windows e Linux, facilitando os testes de benchmark de IA. Vale mencionar que o LocalScore.ai, como um repositório opcional, é dedicado ao armazenamento dos resultados dos testes de benchmark de CPU e GPU, calculados com base no modelo oficial Meta Llama3.1. Através do LocalScore.ai, os usuários podem executar facilmente os benchmarks, com um processo simples e direto.

O lançamento do LocalScore não apenas aumenta a influência da Mozilla nas áreas de IA e LLM, mas também fornece aos desenvolvedores e pesquisadores uma ferramenta de benchmark de código aberto e conveniente. O programa Mozilla Builders espera o surgimento de mais ferramentas de benchmark de IA de código aberto, fáceis de usar e de implantação rápida e multiplataforma, para promover o desenvolvimento da tecnologia de IA.