ImagenHub ist eine zentrale Bibliothek zur Standardisierung der Inferenz und Bewertung aller bedingten Bildgenerierungsmodelle. Das Projekt definiert zunächst sieben herausragende Aufgaben und erstellt hochwertige Bewertungsdatensätze. Zweitens entwickeln wir eine einheitliche Inferenzpipeline, um einen fairen Vergleich zu gewährleisten. Drittens entwerfen wir zwei manuelle Bewertungsmetriken, nämlich semantische Konsistenz und wahrgenommene Qualität, und erstellen umfassende Richtlinien zur Bewertung der generierten Bilder. Wir schulen Experten-Gutachter, um die Modell-Outputs anhand der vorgeschlagenen Metriken zu bewerten. Die manuelle Bewertung erreicht bei 76 % der Modelle eine hohe Inter-Rater-Reliabilität. Wir haben umfassend etwa 30 Modelle bewertet und drei wichtige Erkenntnisse gewonnen: (1) Die Leistung bestehender Modelle ist allgemein unbefriedigend; außer bei textgesteuerter und themengesteuerter Bildgenerierung liegt die Gesamtbewertung von 74 % der Modelle unter 0,5. (2) Wir haben die Aussagen in veröffentlichten Artikeln überprüft und festgestellt, dass 83 % der Aussagen korrekt sind. (3) Außer bei themengesteuerter Bildgenerierung weisen die bestehenden automatischen Bewertungsmetriken keinen Spearman-Korrelationskoeffizienten über 0,2 auf. Künftig werden wir weiterhin neue Modelle bewerten und die Rangliste aktualisieren, um den Fortschritt im Bereich der bedingten Bildgenerierung zu verfolgen.