Das KI-Startup Luma hat kürzlich auf X die Veröffentlichung seiner Open-Source-Technologie Inductive Moment Matching (IMM) für das Vortraining von Bildmodellen angekündigt. Diese bahnbrechende Technologie hat aufgrund ihrer Effizienz und Stabilität große Aufmerksamkeit erregt und gilt als wichtiger Fortschritt im Bereich der generativen KI. Laut X-Nutzer linqi_zhou ist IMM ein völlig neues generatives Paradigma, das es ermöglicht, ein einzelnes Modell mit einem einzigen Ziel von Grund auf stabil zu trainieren und dabei sowohl die Stichprobeneffizienz als auch die Qualität der Stichproben zu übertreffen.

Finden Sie es auch mühsam, dass selbst mit riesigen Datensätzen trainierte Bildmodelle bei der Erzeugung hochwertiger Bilder so langsam sind? Luma AI hat kürzlich eine neue Technik namens Inductive Moment Matching (IMM) für das Pretraining von Bildmodellen als Open Source veröffentlicht, die angeblich eine beispiellose Beschleunigung der Erzeugung hochwertiger Bilder ermöglicht – ein wahrer Turbo für die Modellgenerierung! Algorithmus-Stillstand? Luma AI sprengt die Grenzen! In den letzten Jahren...

Der GPU-Cloud-Dienstleister CoreWeave gab kürzlich eine strategische Partnerschaft mit OpenAI im Wert von 11,9 Milliarden US-Dollar über fünf Jahre bekannt. Gemäß der Vereinbarung wird CoreWeave OpenAI die benötigte Rechenleistung für das Training und die Bereitstellung seiner KI-Modelle liefern. Dieser bedeutende Deal markiert eine vertiefte Zusammenarbeit der beiden Unternehmen im Bereich der künstlichen Intelligenz. Im Rahmen der Partnerschaft wird CoreWeave OpenAI außerdem Aktien im Wert von 3...

Die rasante Entwicklung großer Sprachmodelle (LLMs) in den letzten Jahren hat das Feld der Verarbeitung natürlicher Sprache (NLP) grundlegend verändert. Diese Technologien finden heute breite Anwendung in Bereichen wie Code-Assistenten, Suchmaschinen und persönlichen KI-Assistenten und zeigen beeindruckende Fähigkeiten. Das traditionelle Paradigma der „Next-Token-Prediction“ weist jedoch einige Einschränkungen auf, insbesondere bei der Bewältigung komplexer Schlussfolgerungen und langfristiger Aufgaben, da Modelle ein umfangreiches Training benötigen, um ein tiefes konzeptionelles Verständnis zu erlangen. Um dieses Problem zu lösen, haben Forscher von Meta und anderen Institutionen einen neuen Ansatz entwickelt...

In der Entwicklung der Robotik ist die Diskrepanz zwischen simulierter und realer Welt eine grosse Herausforderung. Kürzlich haben das NVIDIA GEAR Labor und ein Forschungsteam der Carnegie Mellon University ein neues Framework namens ASAP (Aligning Simulation and Real Physics) entwickelt, um diese Lücke zu schliessen. Das System erzielt bemerkenswerte Fortschritte bei der Reduzierung von Fehlern zwischen simulierten und realen Bewegungen von Robotern und reduziert diese um etwa 53%. Dies stellt einen deutlichen Fortschritt gegenüber bestehenden Methoden dar.

Im Zeitalter der rasanten Entwicklung großer Sprachmodelle (LLM) werden die Kosten für das Training und die Inferenz von Modellen zunehmend zu einem zentralen Thema in Forschung und Anwendung. Kürzlich hat das Tencent HunYuan-Team eine wichtige Studie veröffentlicht, die sich eingehend mit den „Scaling Laws“ des Low-Bit-Gleitkommaquantisierungstrainings befasst, also den Skalierungsgesetzen des quantisierten Trainings mit Gleitkommazahlen. Der Kern dieser Studie liegt darin, durch die Reduzierung der Modellgenauigkeit zu untersuchen, wie sich die Rechen- und Speicherkosten deutlich senken lassen, ohne die Leistung einzubüßen. Das Forschungsteam führte...

Der chinesisch-stämmige Harvard-Forscher Jeffrey Wang ist kürzlich als Wissenschaftler zum OpenAI-Basis-Team gestoßen und konzentriert sich auf Modell-Pretraining und Inferenz. Diese Nachricht hat große Aufmerksamkeit erregt, und OpenAIs Mitbegründer und Präsident Greg Brockman hat Jeffreys Eintritt begeistert begrüßt. Jeffreys akademischer Werdegang ist bemerkenswert. Er schloss sein Studium an einer kalifornischen Highschool ab, wo er bereits durch ...

Das Internetinformationsamt von Shanghai hat eine neue Bekanntmachung über die Registrierung von generativen KI-Diensten veröffentlicht, um die Innovation und die normative Anwendung von generativer KI in der Stadt weiter zu fördern. Gemäß den Anforderungen der „Provisorischen Maßnahmen zur Verwaltung von generativen KI-Diensten“ hat Shanghai die Registrierung von generativen KI-Diensten geordnet durchgeführt und die Registrierung von Diensten durchgeführt, die über APIs oder andere Methoden auf die Funktionen registrierter Modelle zugreifen. Bislang wurden in Shanghai 9 neue generative KI-Dienste registriert, wodurch sich die Gesamtzahl der registrierten Dienste auf 63 erhöht. Diese Registrierung...

Das Training großer KI-Modelle (wie Transformer und Sprachmodelle) ist zu einem unverzichtbaren Bestandteil des KI-Bereichs geworden, steht aber vor hohen Rechenkosten, hohem Speicherverbrauch und hohem Energiebedarf. OpenAIs GPT-3 beispielsweise verfügt über 175 Milliarden Parameter und benötigt mehrere Wochen GPU-Training. Dieser enorme Ressourcenbedarf schränkt die Anwendung dieser Technologie auf Organisationen mit umfangreichen Rechenressourcen ein und verstärkt die Bedenken hinsichtlich Energieeffizienz und Umweltauswirkungen. Die Bewältigung dieser Herausforderungen ist entscheidend, um eine breitere Anwendung der KI zu gewährleisten.

Li Feifeis Team hat ein neues multimodales Modell vorgestellt, das menschliche Aktionen verstehen und generieren kann und durch die Kombination mit einem Sprachmodell eine einheitliche Verarbeitung von verbaler und nonverbaler Sprache ermöglicht. Dieser Durchbruch ermöglicht es Maschinen, nicht nur Anweisungen zu verstehen, sondern auch in Aktionen verborgene Emotionen zu erkennen, was zu einer natürlicheren Mensch-Computer-Interaktion führt. Der Kern des Modells ist sein multimodales Sprachmodell-Framework, das verschiedene Eingaben wie Audio, Aktionen und Text verarbeiten und die benötigten Modalitätsdaten ausgeben kann. In Kombination mit einer generativen Pretraining-Strategie, kann das Modell...

Am 16. Dezember 2024 kündigte Midjourney eine mit Spannung erwartete neue Funktion an – „Moodboards“ (Stimmungsbilder). Diese Pinterest-inspirierte Funktion ermöglicht es Nutzern, eine Reihe sorgfältig ausgewählter Bilder hochzuladen, die als Inspiration für die Generierung neuer Kunstwerke dienen. Durch die Analyse der hochgeladenen Bilder kann das neueste KI-Modell von Midjourney (Version 6.1) sich an diverse und komplexe visuelle Elemente anpassen und einzigartige Ergebnisse schaffen.

Ilya Sutskever, Mitgründer von OpenAI, erklärte kürzlich, dass KI-Forscher neue Wege finden müssen, um die maschinelle Intelligenz zu erweitern und bestehende Grenzen zu überwinden. Auf der NeurIPS-Konferenz 2024 in Vancouver, Kanada, hielt er eine Rede, in der er das Ende des Zeitalters des Pretrainings von KI voraussagte und den Aufstieg einer KI-Superintelligenz prognostizierte. Sutskever argumentiert, dass dies durch bessere Hardware, Software und ...

Anfang des Jahres stellte Google seine sechste und bisher leistungsstärkste TPU vor – Trillium. Heute wird Trillium offiziell für Google Cloud-Kunden freigegeben. Google trainierte mit Trillium TPU das neueste Gemini2.0, das bisher leistungsstärkste KI-Modell von Google. Unternehmen und Startups können nun dieselbe leistungsstarke, effiziente und nachhaltige Infrastruktur nutzen. Das Herzstück des KI-Supercomputers: Trillium.

Der Finanzchef von OpenAI gab kürzlich in New York bekannt, dass das Unternehmen erwartet, dass die Kosten für den Bau fortschrittlicherer KI-Modelle in Zukunft deutlich steigen und Milliarden von Dollar erreichen werden. Diese Information spiegelt wider, dass der wirtschaftliche Druck bei der Entwicklung hochmoderner KI-Systeme mit dem technologischen Fortschritt und der steigenden Nachfrage zunimmt. Laut Führungskräften investiert OpenAI verstärkt in fortschrittliche KI-Technologien, insbesondere in die Ausgaben für Modelltraining und Infrastruktur. Das bedeutet, dass Benutzer in Zukunft möglicherweise höhere Preise für die angebotenen Dienste sehen werden.

Im schnell wachsenden Bereich der generativen KI führt das Nous Research-Team ein einzigartiges Experiment durch: Sie trainieren ein großes Sprachmodell (LLM) mit 1,5 Milliarden Parametern mithilfe von weltweit verteilten Maschinen. Dieser Prozess vermeidet die traditionell benötigte zentralisierte Entwicklung in teuren und energieintensiven Rechenzentren oder Superclustern. Nous Research streamt den Pretraining-Prozess auch live auf seiner Website distro.nousresearch.com und bietet Echtzeit-Einblicke.

Das Volksgericht im Bezirk Haidian, Peking, hat die Klage von ByteDance gegen seinen ehemaligen Praktikanten Tian M. offiziell angenommen. Das Unternehmen wirft Tian vor, den Code manipuliert und dadurch das interne Modelltraining angegriffen zu haben. ByteDance fordert vom Gericht einen Schadenersatz von 8 Millionen Yuan sowie die Erstattung von 20.000 Yuan an angemessenen Kosten und eine öffentliche Entschuldigung.

OpenAI hat am 14. November einen professionellen Leitfaden für Schüler zum Schreiben veröffentlicht, der erstmals systematisch die korrekte Verwendung von ChatGPT im Bildungsbereich beschreibt. Dieser Leitfaden geht nicht nur auf die Bedenken des Bildungssektors gegenüber KI ein, sondern bietet Schülern auch eine klare Handlungsanweisung für den sinnvollen Einsatz von KI-Tools. OpenAI betont, dass ChatGPT als Hilfsmittel zum Lernen und nicht als Ersatz dafür betrachtet werden sollte. Bei richtiger Anwendung kann dieses Tool dazu beitragen, das Verständnis komplexer Konzepte zu vertiefen; bei unsachgemäßer Anwendung kann es hingegen die Entwicklung von Lernfähigkeiten behindern.

Das Massachusetts Institute of Technology (MIT) hat diese Woche ein neues Robotertrainingsmodell vorgestellt, das im Gegensatz zu bisherigen Methoden, die sich auf spezifische Datensätze konzentrierten, auf massive Datenmengen zurückgreift, ähnlich wie bei der Ausbildung großer Sprachmodelle (LLMs). Die Forscher weisen darauf hin, dass Imitationslernen – bei dem ein Agent durch Nachahmung eines die Aufgabe ausführenden Individuums lernt – bei kleineren Herausforderungen scheitern kann. Diese Herausforderungen können unterschiedliche Lichtverhältnisse, unterschiedliche Umgebungseinstellungen oder neue Hindernisse umfassen. In diesen Fällen verfügen die Roboter nicht über genügend Daten, um sich an diese Veränderungen anzupassen.