魔搭コミュニティはvLLMとFastChatと連携し、高効率なLLM推論とデプロイサービスを提供します。開発者は、FastChatでvLLMを推論エンジンとして使用することで、高スループットのモデル推論を実現できます。FastChatは、LLMベースのChatBotのトレーニング、サービス提供、評価を行うためのオープンなプラットフォームです。vLLMは、カリフォルニア大学バークレー校、スタンフォード大学、カリフォルニア大学サンディエゴ校の研究者によって開発されたLLMサービスシステムです。