上海AIラボとコーパスデータ連合は、「書生・万巻」1.0多モーダル事前学習コーパスを共同でオープンソース化しました。テキスト、画像テキスト、ビデオデータセットを含み、総容量は2TBを超えます。このコーパスは、細粒度のクレンジングと重複排除が施されており、多様な融合、精密な処理、効率的な使用を特徴としています。オープンソースコーパスの公開は、大規模モデルの応用とイノベーションを促進し、大規模モデル技術の参入障壁を下げることに貢献します。