バイトダンスの大規模言語モデルBuboGPTは、テキスト、画像、音声の3種類のモーダルにおける細粒度のマルチモーダル統合理解をサポートします。BuboGPTは視覚的定位手法を導入することで、画像内のオブジェクトの位置を正確に特定できます。研究チームはマルチモーダル指示調整によるトレーニング手法を用いることで、BuboGPTのマルチモーダルトスクにおける優れた性能を実現しました。