O RouteLLM é um framework para roteamento de modelos de linguagem grandes (LLMs) que serve e avalia esses modelos. Ele roteia consultas inteligentemente para modelos com diferentes custos e desempenhos, economizando custos e mantendo a qualidade da resposta. Ele oferece roteadores prontos para uso e demonstrou redução de custos de até 85% e desempenho de 95% do GPT-4 em benchmarks amplamente usados.