Aphrodite-engine
Motor de inferência em larga escala do PygmalionAI
Produto ComumProgramaçãoInferência em larga escalaModelo de linguagem
Aphrodite é o motor de back-end oficial do PygmalionAI, projetado para fornecer pontos de extremidade de inferência para o site do PygmalionAI e permitir o atendimento de modelos Pygmalion a um grande número de usuários em velocidade extremamente rápida. O Aphrodite utiliza a tecnologia de atenção paginada do vLLM, implementando processamento contínuo em lote, gerenciamento eficiente de chaves e valores, núcleos CUDA otimizados e outras características. Suporta diversas opções de quantização para melhorar o desempenho de inferência.
Aphrodite-engine Situação do Tráfego Mais Recente
Total de Visitas Mensais
474564576
Taxa de Rejeição
36.20%
Média de Páginas por Visita
6.1
Duração Média da Visita
00:06:34