LMSYS Org ist eine Organisation, die sich der Demokratisierung der Technologie von großen Sprachmodellen und deren systemischer Infrastruktur widmet. Sie hat den Vicuna-Chatbot entwickelt, der in den Größen 7B/13B/33B beeindruckend an GPT-4 heranreicht und 90% der ChatGPT-Qualität erreicht. Zusätzlich bietet sie Chatbot Arena, eine Plattform zur Massenbewertung und Elo-Bewertung von LLMs mittels Crowdsourcing und spielerischem Ansatz. SGLang bietet eine effiziente Schnittstelle und Laufzeitumgebung für komplexe LLM-Programme. LMSYS-Chat-1M ist ein umfangreicher Datensatz realer LLM-Dialoge. FastChat ist eine offene Plattform zum Trainieren, Bereitstellen und Bewerten von LLM-basierten Chatbots. MT-Bench ist ein Satz herausfordernder, mehrstufiger und offener Fragen zur Bewertung von Chatbots.