Im Bereich der KI zeichnet sich eine neue Kraft ab. Das Technologie-Innovationsinstitut Abu Dhabi (TII) hat die Open-Source-Veröffentlichung seines neuen großen Sprachmodells Falcon2 angekündigt, ein Modell mit 11 Milliarden Parametern, das durch seine herausragende Leistung und mehrsprachigen Fähigkeiten weltweit Aufmerksamkeit erregt.
Falcon2 gibt es in zwei Versionen: eine Basisversion, die einfach zu implementieren ist und Text, Code und Zusammenfassungen generieren kann; und ein VLM-Modell (Vision-Language-Model) mit visueller Transformationsfähigkeit, das Bilder in Text umwandeln kann – eine in Open-Source-Großmodellen äußerst seltene Fähigkeit. In mehreren Benchmark-Tests übertraf Falcon2-11B die Leistung von Metas Llama-38B und erreichte den ersten Platz gemeinsam mit Googles Gemma-7B, was seine herausragende Leistung belegt.
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte: Midjourney
Die mehrsprachigen Fähigkeiten von Falcon2-11B ermöglichen die einfache Bearbeitung von Aufgaben in verschiedenen Sprachen, darunter Englisch, Französisch, Spanisch, Deutsch, Portugiesisch usw., was sein Anwendungspotenzial in verschiedenen Szenarien erweitert. Als visuelles großes Sprachmodell hat Falcon2-11B VLM ein breites Anwendungspotenzial in Branchen wie Gesundheitswesen, Finanzen, E-Commerce, Bildung und Recht und kann Bilder und visuelle Inhalte in der Umgebung erkennen und interpretieren.
Falcon2-11B wurde mit über 5,5 Billionen Tokens Daten auf seinem selbst erstellten Open-Source-Datensatz RefinedWeb vortrainiert. Dieser Datensatz ist hochwertig, gefiltert und dedupliziert. TII hat ihn durch die Auswahl von Material verbessert und eine vierstufige Trainingsstrategie angewendet, um das Kontextverständnis des Modells zu verbessern.
Erwähnenswert ist, dass Falcon2 ein leistungsstarkes und ressourcenschonendes großes Sprachmodell ist, das mit nur einer GPU effizient betrieben werden kann. Dies macht es hochgradig skalierbar, einfach zu implementieren und sogar in leichtgewichtige Geräte wie Laptops integrierbar. Dies bietet kleinen und mittelständischen Unternehmen sowie Einzelentwicklern große Vorteile und ermöglicht die kommerzielle Nutzung.
Dr. Hakim Hacid, Executive Director und Acting Chief Researcher der KI-Abteilung von TII, sagte, dass Entwickler mit der Weiterentwicklung der generativen KI-Technologie die Vorteile kleinerer Modelle erkannt haben, darunter reduzierter Rechenbedarf, Erfüllung von Nachhaltigkeitsstandards und erhöhte Flexibilität.
Bereits im Mai 2023 veröffentlichte TII erstmals das große Sprachmodell Falcon-40B als Open Source, das in der Rangliste der Open-Source-Sprachmodelle von Hugging Face den ersten Platz belegte und eine Reihe bekannter Open-Source-Modelle übertraf. Falcon-40B wurde auf einem Datensatz mit 1 Billion Tokens trainiert und kann für Textbeantwortung, Zusammenfassung, automatische Codegenerierung, Übersetzung usw. verwendet werden und unterstützt das Fine-Tuning für spezifische Anwendungsszenarien.
TII wurde 2020 gegründet und ist eine Forschungseinrichtung des Ministeriums für Hochschulbildung und wissenschaftliche Forschung in Abu Dhabi. Ziel ist es, wissenschaftliche Forschung zu fördern, Spitzentechnologien zu entwickeln und zu kommerzialisieren, um das Wirtschaftswachstum in Abu Dhabi und den Vereinigten Arabischen Emiraten zu fördern. TII beschäftigt derzeit über 800 Forschungsexperten aus 74 Ländern, hat über 700 Publikationen und über 25 Patente veröffentlicht und gehört zu den weltweit führenden wissenschaftlichen Forschungseinrichtungen.
Die Open-Source-Veröffentlichung von Falcon2 ist nicht nur ein Zeichen für TIIs Engagement für den Technologietransfer, sondern auch eine mutige Erkundung der zukünftigen Entwicklung der KI. Das Open-Source-Modell Falcon2 wird zu einer Reduzierung des Rechenbedarfs, zur Erfüllung von Nachhaltigkeitsstandards und zu einer erhöhten Flexibilität beitragen und sich perfekt in den aufkommenden Trend der Edge-KI-Infrastruktur einfügen.
Modell-Adresse: https://huggingface.co/tiiuae/falcon-11B
