A LMSYS Org é uma organização dedicada à democratização da tecnologia de modelos de linguagem grandes e suas infraestruturas de sistemas. Eles desenvolveram o chatbot Vicuna, que em escalas de 7B/13B/33B impressiona o GPT-4, alcançando 90% da qualidade do ChatGPT. Também oferecem o Chatbot Arena para avaliação em larga escala e gamificada de LLMs por meio de um sistema de crowdsourcing e classificação Elo. O SGLang fornece uma interface eficiente e ambiente de execução para programas complexos de LLM. O LMSYS-Chat-1M é um vasto conjunto de dados de diálogos LLM do mundo real. O FastChat é uma plataforma aberta para treinamento, fornecimento de serviços e avaliação de chatbots baseados em LLM. O MT-Bench é um conjunto de questões desafiadoras, multi-turnos e abertas para avaliação de chatbots.