Moteur Aphrodite

Moteur d'inférence à grande échelle de PygmalionAI

Produit OrdinaireProgrammationInférénce à grande échelleModèle linguistique
Aphrodite est le moteur backend officiel de PygmalionAI, conçu pour fournir des points de terminaison d'inférence au site web PygmalionAI et permettre de servir le modèle Pygmalion à un grand nombre d'utilisateurs à très grande vitesse. Aphrodite exploite la technique d'attention par pages de vLLM, implémentant ainsi le traitement par lots continu, une gestion efficace des clés-valeurs, des noyaux CUDA optimisés, etc. Il prend en charge plusieurs schémas de quantification pour améliorer les performances d'inférence.
Ouvrir le site Web

Moteur Aphrodite Dernière situation du trafic

Nombre total de visites mensuelles

474564576

Taux de rebond

36.20%

Nombre moyen de pages par visite

6.1

Durée moyenne de la visite

00:06:34

Moteur Aphrodite Tendance des visites

Moteur Aphrodite Distribution géographique des visites

Moteur Aphrodite Sources de trafic

Moteur Aphrodite Alternatives