Pali3は、画像をエンコードし、クエリと共にエンコーダ・デコーダTransformerに渡すことで、必要な回答を生成する視覚言語モデルです。このモデルは、単一モーダル事前学習、マルチモーダル学習、解像度向上、タスク特化を含む複数の段階でトレーニングされています。Pali3の主な機能には、画像エンコーディング、テキストエンコーディング、テキスト生成などがあります。このモデルは、画像分類、画像キャプション生成、ビジュアルクエスチョン answeringなどのタスクに適しています。Pali3の強みは、モデル構造がシンプルで、トレーニング効果が高く、速度が速いことです。この製品は無料でオープンソースです。