La passerelle IA de Portkey est une interface entre les applications et les modèles de langage volumineux (LLM) hébergés. Elle optimise les requêtes API vers OpenAI, Anthropic, Mistral, LLaMa 2, Anyscale, Google Gemini, etc., via une API unifiée, permettant un routage fluide. Cette passerelle est rapide, légère, intègre un mécanisme de nouvelle tentative, prend en charge l'équilibrage de charge multi-modèles et assure ainsi la fiabilité et les performances des applications.