Eine neue Studie zeigt, dass 92% der britischen Studenten KI-Tools für ihre Hausaufgaben verwenden. Dies stellt Hochschulen vor neue Herausforderungen bei der Bewertung und stellt Fragen nach der akademischen Integrität.

Vectara hat kürzlich einen Bericht mit dem Titel „Halluzinationsrangliste“ veröffentlicht, in dem die Leistung verschiedener großer Sprachmodelle (LLMs) beim Generieren von Halluzinationen beim Zusammenfassen kurzer Dokumente verglichen wird. Diese Rangliste verwendet das Hughes-Halluzinationsbewertungsmodell (HHEM-2.1) von Vectara, ein regelmäßig aktualisiertes Modell, das darauf abzielt, die Häufigkeit zu bewerten, mit der diese Modelle falsche Informationen in Zusammenfassungen einfügen. Laut den neuesten Daten weist der Bericht die Halluzinationsrate, die Faktenkonsistenzrate, die Antwortquote und die durchschnittliche Länge der Zusammenfassungen einer Reihe gängiger Modelle aus.

Das von Shanghai AI Laboratory's Sinan OpenCompass Team und ModelScope gemeinsam entwickelte Bewertungsportal für große Modelle, CompassArena (Große Modell-Arena), wurde kürzlich aktualisiert, um den Benutzern eine wissenschaftlichere und umfassendere Modellbewertungserfahrung zu bieten. Seit seiner Einführung hat die Plattform eine große Anzahl von Community-Benutzern angezogen, die Daten beigetragen haben. Basierend auf diesen Daten wurde CompassArena kontinuierlich optimiert. Dieses Upgrade umfasst die neue Judge Copilot-Funktion und Verbesserungen des Ranking-Algorithmus.

Yelp hat kürzlich eine neue KI-Funktion namens „Bewertungs-Insights“ angekündigt, die Nutzern helfen soll, effizienter neue Restaurants zu finden und die Auswahl an Kundenbewertungen einzugrenzen. Diese Funktion ist Teil der Jahresendproduktveröffentlichung von Yelp und nutzt künstliche Intelligenz, um Restaurantbewertungen schnell zu analysieren und zusammenzufassen. Sie liefert ein Sentiment-Scoring zu Aspekten wie Lebensmittelqualität, Service, Ambiente und Wartezeiten. „Bewertungs-Insights“ zeigt die Stimmungslage der Restaurantbewertungen durch Emojis (positiv, neutral, negativ) an und hilft Nutzern, schnell einen Überblick über verschiedene Aspekte des Unternehmens zu erhalten.

Kürzlich fand auf der Minecraft-Plattform eine außergewöhnliche KI-Leistungsbewertung statt, die große Aufmerksamkeit erregte. Zwei Versionen von Claude3.5Sonnet, eine alte und eine neue, traten in einem Bau-Wettbewerb im Spiel gegeneinander an und zeigten deutliche Leistungsunterschiede. Die neue Version (vorläufig 'Sonnet3.6' genannt) war besonders beeindruckend. Dieser von dem Entwickler adi initiierte Test wird scherzhaft als 'die einzig zuverlässige Bewertungsmaßstab' bezeichnet. Der Bewertungsmaßstab-Forscher Aidan McLau ist der Ansicht, dass diese Methode genau den aktuellen Anforderungen an die KI-Bewertung entspricht und weist darauf hin, dass...

Die neueste Version von Google DeepMind, Gemini (Exp 1114), hat auf der Chatbot Arena Plattform bemerkenswerte Ergebnisse erzielt. Nach mehr als einer Woche Community-Tests und über 6000 abgegebenen Stimmen zeigt sich, dass das neue Modell seine Konkurrenz deutlich übertrifft und in mehreren Schlüsselbereichen erstaunliche Fähigkeiten demonstriert. In der Gesamtbewertung belegt Gemini-Exp-1114 mit über 40 Punkten den ersten Platz gemeinsam mit GPT-4-latest und übertrifft damit den bisherigen Spitzenreiter GPT.

Die US-amerikanische Federal Trade Commission (FTC) hat kürzlich gegen die Online-Bewertungsplattform Sitejabber vorgegangen und dem Unternehmen vorgeworfen, gegen neue Vorschriften verstoßen und Produktbewertungen gefälscht zu haben. Laut FTC-Anklage hat Sitejabber die Anzahl der Bewertungen von Händlern durch die Verwendung von am Point of Sale (POS) gesammelten Feedbacks künstlich erhöht und damit Verbraucher über die tatsächliche Meinung zu Produkten irreführt. Die FTC bezeichnet das Vorgehen von Sitejabber als „täuschend“. Das Unternehmen habe Kunden dazu gebracht, Bewertungen abzugeben, ohne dass diese tatsächlich Produkte oder Dienstleistungen genutzt haben.

Grammarly, der beliebte KI-Assistent, hat kürzlich neue Funktionen angekündigt, die Unternehmen dabei unterstützen, die Effektivität ihrer Kommunikation und deren Auswirkungen auf die Mitarbeiterproduktivität und wichtige Geschäftskennzahlen zu messen. Grammarly führt als erstes Unternehmen eine "Effektive Kommunikationsbewertung" ein, mit der Unternehmenskunden den Zustand ihrer Kommunikation verfolgen und bewerten können. Diese Bewertung konzentriert sich auf Schlüsselfaktoren wie Genauigkeit, Effizienz und Klarheit der Kommunikation, Markenkonformität und inklusive Sprache. Bildquelle: Bild

Stichwörter: PDFtoChat KI Natürliche Sprachverarbeitung Informationsabruf Dokumentenverarbeitung Open Source Langchain MongoDB Together AI Mixtral I. Produktübersicht PDFtoChat ist eine KI-basierte Plattform zur Informationsbeschaffung aus PDF-Dokumenten (https://www.aibase.com/tool/33735), die es Benutzern ermöglicht, über einen Dialog mit PDF-Dateien zu interagieren und so schnell...

Das Beijing Academy of Artificial Intelligence (BAAI) hat kürzlich FlagEval Debate vorgestellt, die weltweit erste Debattenplattform für chinesische große Sprachmodelle. Diese neue Plattform zielt darauf ab, durch einen wettbewerbsorientierten Debattenmechanismus neue Bewertungsmethoden für die Fähigkeiten großer Sprachmodelle zu liefern. Sie ist eine Erweiterung des FlagEval-Großmodell-Arenas von BAAI und soll die Unterschiede in den Fähigkeiten großer Sprachmodelle aufzeigen.

Der US-Medienkonzern Gannett gab die Schließung seiner Produktbewertungswebsite Reviewed zum 1. November bekannt, was für Aufsehen sorgt. Reviewed war bekannt für seine Produktempfehlungen und professionellen Testberichte, geriet aber kürzlich in die Kritik wegen der Herkunft seiner Inhalte. Die Gewerkschaft der Mitarbeiter warf dem Unternehmen vor, KI-generierte Testberichte zu verwenden. Gannett dementierte die Verwendung von KI und erklärte, die Inhalte stammten von der Drittanbieter-Marketingfirma AdVon. AdVon war bereits in ähnliche Kontroversen verwickelt und wurde beschuldigt, KI-generierte Inhalte im Sport Illustrated veröffentlicht zu haben.

Geekbench AI ist ein neu veröffentlichtes, plattformübergreifendes Tool zur Bewertung von KI-intensiven Workloads. Es misst die Leistung von CPU, GPU und NPU eines Geräts und unterstützt mehrere Machine-Learning-Frameworks, um die Fähigkeit des Geräts zur Verarbeitung von KI-Anwendungen zu bestimmen. Geekbench AI liefert Ergebnisse in voller Genauigkeit, halber Genauigkeit und quantisiert, zusammen mit einer Genauigkeitsbewertung, um Benutzern ein Verständnis der tatsächlichen Leistung des Modells bei der Aufgabenerfüllung zu ermöglichen. Benutzer können Geekbench AI unter Windows, macOS, Linux und Android verwenden.

OpenAI hat kürzlich eine Systemkarte für GPT-4o veröffentlicht, in der die Sicherheitsmaßnahmen und Risikobewertungen vor der Einführung des neuen Modells detailliert beschrieben werden. GPT-4o wurde im Mai offiziell eingeführt, und die Bewertung ergab ein Gesamtrisiko von "mittel", wobei die wichtigsten Risiken in den Bereichen Cybersicherheit, biologische Bedrohungen, Überzeugungskraft und Autonomie des Modells liegen. Forscher fanden heraus, dass GPT-4o zwar möglicherweise überzeugender darin ist, die Meinung der Leser zu beeinflussen, aber insgesamt nicht über das Niveau eines Menschen hinausgeht. Gleichzeitig mit der Veröffentlichung der Systemkarte steht OpenAI in der Kritik von internen Mitarbeitern und staatlichen Senatoren, die das Unternehmen in Frage stellen.

Im Bereich der Verarbeitung natürlicher Sprache zeigen große Sprachmodelle hervorragende Leistungen bei komplexen Aufgaben. Die Modellbewertung ist jedoch stark von teuren und zeitaufwändigen manuell annotierten Daten abhängig. Mit fortschreitenden Modellen sinkt die Nützlichkeit der vorhandenen Daten, sodass kontinuierlich neue Daten gesammelt werden müssen, um die Skalierung und Nachhaltigkeit der Bewertung zu gewährleisten. Das Meta FAIR Forschungsteam hat als Lösung hierfür den „Self-Taught Evaluator“ (Selbstlern-Evaluator) entwickelt. Diese innovative Methode trainiert mit synthetischen Daten und benötigt keine manuellen Annotationen. Durch die Generierung kontrastierender synthetischer Präferenzen...

Auf der China International Financial Fair 2024 hat Baidu Intelligent Cloud die Finanz-KI-Anwendung „Zhijin“ vorgestellt, die darauf abzielt, die Effizienz und die Einnahmen von Finanzinstituten zu steigern. Für die vier Szenarien Vermögensverwaltung, Vermögensbewertung, Compliance und außerbörslicher Handel bietet die Anwendung die Module Vermögensberatung (Wealth Zhigu), intelligente Vermögensbewertung (Asset Zhiping), Compliance-Urteilsfindung (Compliance Zhipan) und Transaktionsüberwachung (Trading Zhicha) und unterstützt so eine intelligente und effiziente Geschäftsabwicklung. Diese intelligenten Anwendungen wurden erfolgreich bei führenden Banken, Versicherungen und Wertpapierfirmen implementiert und beschleunigen die Verbesserung von Qualität und Effizienz der Finanzdienstleistungen. Baidu Intelligent Cloud entwickelt in Zusammenarbeit mit Partnern im Rahmen eines Ökosystem-Ansatzes weitere KI-Anwendungen für diverse Szenarien.

Anthropic hat ein Programm gestartet, um die Entwicklung neuer Arten von Benchmarks zu fördern, mit denen die Leistung und Auswirkung von KI-Modellen, darunter auch generative Modelle wie das eigene Claude, bewertet werden können.

Forscher der Universität Reading in Großbritannien haben heimlich von künstlicher Intelligenz generierte Prüfungsantworten eingereicht und damit Professoren erfolgreich getäuscht – mit besseren Noten als echte Studenten. In dem Projekt wurden mit ChatGPT-4 unveränderte Antworten generiert und unter falschem Namen bei Online-Bewertungen für Bachelor-Kurse eingereicht.

Hugging Face hat sein Open LLM Leaderboard aktualisiert. Diese Änderung wird die Landschaft der Open-Source-KI-Entwicklung erheblich beeinflussen. Die Verbesserung kommt zu einem entscheidenden Zeitpunkt in der KI-Entwicklung, da Forscher und Unternehmen mit einer scheinbaren Stagnation der Leistungsverbesserungen bei großen Sprachmodellen (LLMs) konfrontiert sind.

Die HELM MMLU-Rangliste der Stanford University hat kürzlich ihre neuesten Ergebnisse veröffentlicht. Percy Liang, Leiter des Stanford Center for Research on Foundation Models, gab bekannt, dass das Qwen2-72B-Modell von Alibaba in der Rangliste Llama3-70B übertrifft und damit zum leistungsstärksten Open-Source-Sprachmodell avanciert.

Patronus AI veröffentlicht Urheberrechtsprüfungstool; OpenAIs GPT-4 wird als schwerwiegendster Urheberrechtsverletzer genannt; Microsoft-Ingenieure weisen darauf hin, dass KI-Bildgenerierungswerkzeuge eine Gefahr für die Gesellschaft darstellen könnten.