FlexFlowは、推測実行とツリー状並列デコード技術を用いた、オープンソースの分散型深層学習フレームワークです。低遅延かつ高性能なLLMモデルサービスを提供します。データ並列とモデル並列のトレーニング、混合精度トレーニング、一般的な深層学習モデルをサポートしています。FlexFlowはマルチGPU環境にデプロイ可能で、PythonとC++の2種類のAPIを提供し、主要な深層学習フレームワークからのインポートに対応しています。