Auf dem Beijing Culture Forum 2024 gab das Beijing Academy of Artificial Intelligence (BAAI) die offizielle Veröffentlichung des CCI 3.0 (Chinese Corpora Internet), der neuen Generation des chinesischen Internet-Korpus, bekannt. Dies fördert die gemeinsame Nutzung und den Aufbau von Daten weiter. CCI 3.0 umfasst einen Datensatz von 1000 GB und einen 498 GB großen hochwertigen Subset CCI 3.0-HQ. Dies ist nach der erstmaligen Open-Source-Veröffentlichung von CCI 1.0 im November 2023 und der Veröffentlichung von CCI 2.0 im April 2024 ein weiteres wichtiges Update.

Das Forschungsinstitut für künstliche Intelligenz (AI) Zhiyuan hat zusammen mit Topos und Zhongke Wenge das "Chinese Internet Corpus" (CCI) erstellt. Dieser sorgfältig kuratierte und bereinigte Datensatz umfasst 104 GB und deckt den Zeitraum von 2001 bis 2023 ab. Zhiyuan wird die Datenquellen weiter ausbauen und die Datenverarbeitungsprozesse optimieren, um qualitativ hochwertige und zuverlässige Daten bereitzustellen. Zusätzlich bietet Zhiyuan weitere hochwertige chinesische Datensätze wie WUDAO Corpora, COIG und MTP an. Diese Initiative zielt darauf ab,...