Mozilla hat kürzlich über sein Mozilla Builders-Programm ein Tool namens LocalScore vorgestellt, das darauf ausgelegt ist, die einfache Benchmark-Tests für lokale Large Language Models (LLMs) zu ermöglichen. Das Tool ist mit Windows und Linux kompatibel und besitzt großes Potenzial, ein wichtiger Bestandteil einfach zu verteilender LLM-Frameworks zu werden. Obwohl LocalScore sich noch in der frühen Entwicklungsphase befindet, liefert es bereits recht gute Ergebnisse.

image.png

LocalScore basiert auf der letzten Woche veröffentlichten Version Llamafile 0.9.2. Dieses Update macht LocalScore zu einem praktischen Benchmark-Tool, das die Leistungsbewertung von Large Language Models auf CPU und GPU ermöglicht. Mit diesem Tool können Benutzer die Leistung von LLM-Systemen einfach messen und schnelle und zuverlässige Ergebnisse erhalten.

image.png

Benutzer können LocalScore direkt aus dem Llamafile-Paket aufrufen oder eigenständige LocalScore-Binärdateien für Windows und Linux verwenden, um AI-Benchmark-Tests einfach durchzuführen. Erwähnenswert ist LocalScore.ai, ein optionales Repository, das speziell zur Speicherung der Ergebnisse von CPU- und GPU-Benchmark-Tests dient, die auf dem offiziellen Meta Llama 3.1-Modell basieren. Über LocalScore.ai können Benutzer Benchmark-Tests einfach und übersichtlich ausführen.

Die Einführung von LocalScore stärkt nicht nur Mozillas Einfluss im Bereich KI und LLM, sondern bietet Entwicklern und Forschern auch ein Open-Source-Tool für einfache Benchmark-Tests. Das Mozilla Builders-Programm erwartet weitere benutzerfreundliche, schnell einsetzbare und plattformübergreifende Open-Source-AI-Benchmark-Tools, um die Weiterentwicklung der KI-Technologie zu fördern.