Im Zeitalter der rasanten Entwicklung großer Sprachmodelle (LLM) werden die Kosten für das Training und die Inferenz von Modellen zunehmend zu einem zentralen Thema in Forschung und Anwendung. Kürzlich hat das Tencent HunYuan-Team eine wichtige Studie veröffentlicht, die sich eingehend mit den „Scaling Laws“ des Low-Bit-Gleitkommaquantisierungstrainings befasst, also den Skalierungsgesetzen des quantisierten Trainings mit Gleitkommazahlen. Der Kern dieser Studie liegt darin, durch die Reduzierung der Modellgenauigkeit zu untersuchen, wie sich die Rechen- und Speicherkosten deutlich senken lassen, ohne die Leistung einzubüßen. Das Forschungsteam führte...