PortkeyのAIゲートウェイは、アプリケーションとホストされているLLM間のインターフェースです。OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google GeminiなどのAPIリクエストを統一APIで最適化し、スムーズなルーティングを実現します。高速で軽量、リトライメカニズムを内蔵し、マルチモデルの負荷分散に対応することで、アプリケーションの信頼性とパフォーマンスを確保します。