Die Harvard University gab am Donnerstag die Veröffentlichung eines hochwertigen Datensatzes mit fast einer Million Büchern aus dem Public Domain bekannt. Dieser steht allen zur Verfügung, um große Sprachmodelle und andere KI-Tools zu trainieren. Der Datensatz wurde von der neu gegründeten Institutional Data Initiative der Harvard University erstellt und von Microsoft und OpenAI finanziert. Er enthält Bücher, die vom Google Books-Projekt gescannt wurden und nicht mehr urheberrechtlich geschützt sind. Die Daten...

Die New York Times und die Daily News erleben in ihrem Urheberrechtsstreit eine unerwartete Wendung: Ein OpenAI-Ingenieur hat versehentlich Daten einer virtuellen Maschine gelöscht, die möglicherweise entscheidende Beweismittel gewesen wären. Dieser Vorfall verleiht dem viel beachteten Rechtsstreit eine zusätzliche dramatische Note. Laut eines Schreibens, das am Mittwochabend beim US-Bezirksgericht für den südlichen Bezirk von New York eingereicht wurde, haben Anwälte und technische Experten der beiden Medienunternehmen bereits über 150 Stunden mit der Durchsuchung von OpenAIs KI-Trainingsdatensatz verbracht. Am 14. November löschte jedoch ein OpenAI-Ingenieur versehentlich die auf der virtuellen Maschine gespeicherten Daten.

Eine neue Studie des Technion – Israel Institute of Technology zeigt, dass große Sprachmodelle (LLMs) möglicherweise „mehr auf dem Kasten haben“, als sie zeigen. Forscher haben herausgefunden, dass die interne Repräsentation von LLMs Informationen über die Richtigkeit ihrer Ausgabe kodiert, selbst wenn sie letztendlich eine falsche Antwort liefern. Das Forschungsteam konzentrierte sich auf die Analyse von Fehlern bei der Generierung langer Texte durch LLMs, was den realen Anwendungsszenarien näher kommt. Sie erstellten einen Fehlererkennungsdatensatz, indem sie die Antworten des Modells mit...

Im Zeitalter des rasanten Fortschritts in der künstlichen Intelligenz ebnet ein internationales Forschungsteam den Weg für die Entwicklung europäischer KI-Sprachmodelle. Sie haben das Projekt MOSEL (Massive Open-source compliant Speech data for European Languages) ins Leben gerufen, das einen umfassenden Open-Source-Sprachdatensatz für die 24 Amtssprachen der EU erstellt. Dieses Vorhaben zielt darauf ab, die Entwicklung offener europäischer KI-Sprachmodelle voranzutreiben und die derzeitige Dominanz englischsprachiger Modelle herauszufordern.

Vor dem Hintergrund der beschleunigten globalen Urbanisierung beweist Google erneut seine Innovationskraft im Bereich Technologie und veröffentlicht einen offenen 2.5D-Zeitdatensatz für Gebäude. Dieser Schritt markiert nicht nur einen bedeutenden Durchbruch in der Kartentechnologie, sondern bietet auch wertvolle Daten zur Unterstützung der globalen Stadtplanung und -entwicklung. Die Vereinten Nationen prognostizieren, dass die Stadtbevölkerung bis 2050 um etwa 2,5 Milliarden Menschen zunehmen wird, wobei der Großteil des Wachstums aus den Ländern des globalen Südens kommen wird. Angesichts dieser enormen Herausforderung benötigen Stadtplaner und Entscheidungsträger dringend neue Instrumente, um die rasanten Veränderungen in Städten zu verstehen und zu bewältigen. Googles jüngste Veröffentlichung…

Getty Images hat einen umfangreichen Datensatz mit 3750 hochwertigen Bildern für KI-Entwickler veröffentlicht. Der Datensatz umfasst 15 Kategorien und soll die Entwicklung von KI-Anwendungen unterstützen. Die Bilder sind auf der Hugging Face Plattform verfügbar und können nach Zustimmung der Nutzungsbedingungen und Angabe der Kontaktdaten kostenlos abgerufen werden. Getty Images möchte damit Unternehmen und Entwickler gewinnen und gleichzeitig seine kostenpflichtigen Lizenzdienste bewerben. Getty Images verfügt eigenen Angaben zufolge über mehr als 572 Millionen Bilder, von denen über 200 Millionen für kommerzielle Zwecke genutzt werden können.

LAION veröffentlicht Re-LAION-5B, den weltweit ersten AI-Trainingsdatensatz, der vollständig von Links zu CSAM (Child Sexual Abuse Material) bereinigt wurde, um das Problem von Kinderpornografie anzugehen. Dieser Datensatz wurde auf Basis von LAION-5B erheblich verbessert und umfasst die Versionen Re-LAION-5B Research und Research-Safe. Insgesamt wurden 2236 Links zu CSAM entfernt, davon 1008 von einer Liste einer Kinderschutzorganisation. Der Datensatz enthält 5,5 Milliarden Text-Bild-Paare und soll helfen...

Das deutsche Forschungsinstitut LAION hat den neuen Datensatz Re-LAION-5B erstellt und veröffentlicht und behauptet, Links zu mutmaßlichem sexuellem Missbrauch von Kindern (CSAM) entfernt zu haben. Der Datensatz ist eine überarbeitete Version des alten Datensatzes LAION-5B und berücksichtigt die Empfehlungen der Internet Observatory Foundation, Human Rights Watch, des Canadian Centre for Child Protection und des Stanford Internet Observatory. Re-LAION-5B ist in zwei Versionen verfügbar: Research und Research-Safe, wobei letztere zusätzlich NSFW-Inhalte entfernt. Der Datensatz soll die Entwicklung von...

Kürzlich wurde in Chengdu, Sichuan, das Erdbebenwellen-Sprachmodell "Di Ting" vorgestellt, das gemeinsam vom Nationalen Supercomputerzentrum Chengdu, dem Institut für Geophysik der China Seismological Administration und der Tsinghua-Universität entwickelt wurde. Dieses Modell ist das erste Erdbebenwellen-Sprachmodell in China mit Milliarden von Parametern und markiert einen wichtigen Durchbruch in der Integration von seismologischer Forschung und künstlicher Intelligenz.

IBM hat im Mai das für Unternehmensumgebungen geeignete Granite13B-LLM-Modell Open Source veröffentlicht. Nun hat Armand Ruiz, Vizepräsident für AI-Plattformprodukte bei IBM, den vollständigen Inhalt des 6,48 TB großen Datensatzes enthüllt, der zum Trainieren von Granite13B verwendet wurde.

Das Institut für Künstliche Intelligenz (AI) hat einen neuen Trainingsdatensatz für die Codegenerierung namens TACO veröffentlicht. Dieser soll Codegenerierungsmodellen herausforderndere Trainingsdaten und Benchmarks bieten. TACO zeichnet sich durch seine Datenmenge, Qualität und Bewertungsmethoden aus, darunter größere Trainings- und Testdatensätze, diverse Lösungsansätze und detaillierte Labels. Experimentelle Ergebnisse zeigen signifikante Unterschiede zwischen aktuellen Codegenerierungsmodellen und GPT-4 in der TACO-Bewertung, was darauf hindeutet, dass in diesem Bereich noch Verbesserungspotential besteht. TACO...

OpenAI startet das Data Partnerships-Programm, um mit Drittanbietern zusammenzuarbeiten und öffentliche und private Datensätze für das Training von KI-Modellen zu erstellen. OpenAI sucht nach Daten aus verschiedenen Bereichen, Sprachen und Formaten, um das breite Verständnis von KI-Modellen zu verbessern. OpenAI plant, Daten in verschiedenen Formen zu sammeln, darunter Bilder, Audio und Video, um die menschliche Gesellschaft widerzuspiegeln und ein sichereres, für die gesamte Menschheit nützliches KI-Ziel zu erreichen. Die Initiative von OpenAI wirft Fragen nach den Rechten der Dateninhaber und Transparenz auf.

Eine Anti-Piraterie-Organisation hat erfolgreich die Entfernung des AI-Trainingsdatensatzes „Books3“ aus dem Online-Piraterie-Bucharchiv The Eye erwirkt. Der „Books3“-Datensatz umfasst 37 GB Text und wurde zum Trainieren von KI-Modellen von mehreren Unternehmen verwendet. Die Anti-Piraterie-Organisation erklärte, dass KI neue Herausforderungen für das Urheberrecht darstellt, und plant, weiterhin gegen Websites vorzugehen, die den Datensatz hosten.