Pruna AI ist ein europäisches Startup-Unternehmen, das sich auf die Entwicklung von Komprimierungsalgorithmen für KI-Modelle konzentriert. Kürzlich gab das Unternehmen die Open-Source-Veröffentlichung seines Optimierungsframeworks bekannt, um Entwicklern zu helfen, KI-Modelle effizienter zu komprimieren.
Das von Pruna AI entwickelte Framework kombiniert verschiedene effiziente Methoden, darunter Caching, Pruning, Quantisierung und Destillation, um die Leistung von KI-Modellen zu verbessern. Das Framework standardisiert nicht nur das Speichern und Laden komprimierter Modelle, sondern bewertet auch die komprimierten Modelle, um festzustellen, ob die Qualität signifikant beeinträchtigt wurde, und misst gleichzeitig die durch die Komprimierung erzielte Leistungssteigerung.
John Rachwan, Mitbegründer und CTO von Pruna AI, erklärt: „Unser Framework ähnelt der Standardisierung von Transformers und Diffusers durch Hugging Face. Wir bieten eine einheitliche Möglichkeit, verschiedene Effizienzmethoden aufzurufen und zu verwenden.“ Große Unternehmen wie OpenAI verwenden bereits verschiedene Komprimierungsmethoden in ihren Modellen, z. B. Destillationstechniken, um schnellere Versionen ihrer Flaggschiffmodelle zu erstellen.
Destillation ist eine Technik zum Extrahieren von Wissen aus einem „Lehrer-Schüler“-Modell. Entwickler senden Anfragen an das Lehrermodell und protokollieren die Ausgaben. Diese Ausgaben werden dann zum Trainieren des Schülermodells verwendet, so dass es das Verhalten des Lehrermodells annähern kann. Rachwan weist darauf hin, dass zwar viele große Unternehmen dazu neigen, eigene Komprimierungstools zu entwickeln, in der Open-Source-Community aber oft nur Lösungen auf Basis einzelner Methoden zu finden sind. Pruna AI bietet hingegen ein Tool, das mehrere Methoden integriert und die Verwendung erheblich vereinfacht.
Derzeit unterstützt das Framework von Pruna AI verschiedene Modelltypen, darunter große Sprachmodelle, Diffusionsmodelle, Spracherkennungsmodelle und Computer-Vision-Modelle. Das Unternehmen konzentriert sich jedoch derzeit hauptsächlich auf die Optimierung von Bild- und Videogenerierungsmodellen. Unternehmen wie Scenario und PhotoRoom nutzen bereits die Dienste von Pruna AI.
Neben der Open-Source-Version bietet Pruna AI auch eine Enterprise-Version mit erweiterten Optimierungsfunktionen und einem Optimierungs-Agenten an. Rachwan verrät: „Die aufregendste Funktion, die wir in Kürze veröffentlichen werden, ist der Komprimierungs-Agent. Benutzer müssen nur das Modell bereitstellen und die Anforderungen an Geschwindigkeit und Genauigkeit festlegen. Der Agent findet dann automatisch die beste Komprimierungskombination.“
Pruna AI berechnet seine Gebühren stundenweise, ähnlich wie bei der Anmietung von GPUs in der Cloud. Durch die Verwendung optimierter Modelle können Unternehmen bei der Inferenz erhebliche Kosten sparen. Pruna AI konnte beispielsweise die Größe eines Llama-Modells um das Achtfache reduzieren, ohne dabei die Genauigkeit merklich zu beeinträchtigen. Das Unternehmen hofft, dass Kunden sein Komprimierungsframework als Investition betrachten, die sich letztendlich auszahlt.
Kürzlich schloss Pruna AI eine Seed-Finanzierungsrunde in Höhe von 6,5 Millionen US-Dollar ab. Zu den Investoren gehören EQT Ventures, Daphni, Motier Ventures und Kima Ventures.
Projekt: https://github.com/PrunaAI/pruna
Wichtigste Punkte:
🌟 Pruna AI veröffentlicht ein Open-Source-Optimierungsframework, das verschiedene Komprimierungsmethoden kombiniert, um die Leistung von KI-Modellen zu verbessern.
🤖 Große Unternehmen verwenden häufig Destillation und andere Techniken. Pruna AI bietet ein Tool, das mehrere Methoden integriert und den Nutzungsprozess vereinfacht.
💰 Die Enterprise-Version unterstützt erweiterte Funktionen und hilft Benutzern, die Modellkomprimierung und Leistungssteigerung bei gleichzeitiger Aufrechterhaltung der Genauigkeit zu erreichen.