Moteur Aphrodite
Moteur d'inférence à grande échelle de PygmalionAI
Produit OrdinaireProgrammationInférénce à grande échelleModèle linguistique
Aphrodite est le moteur backend officiel de PygmalionAI, conçu pour fournir des points de terminaison d'inférence au site web PygmalionAI et permettre de servir le modèle Pygmalion à un grand nombre d'utilisateurs à très grande vitesse. Aphrodite exploite la technique d'attention par pages de vLLM, implémentant ainsi le traitement par lots continu, une gestion efficace des clés-valeurs, des noyaux CUDA optimisés, etc. Il prend en charge plusieurs schémas de quantification pour améliorer les performances d'inférence.
Moteur Aphrodite Dernière situation du trafic
Nombre total de visites mensuelles
474564576
Taux de rebond
36.20%
Nombre moyen de pages par visite
6.1
Durée moyenne de la visite
00:06:34