Ein Forschungsteam um Yan Shuicheng von Kunlun Wanwei (China) und der Nanyang Technological University (Singapur) hat kürzlich das Projekt Q* vorgestellt, das darauf abzielt, die Inferenzfähigkeit kleiner Sprachmodelle zu verbessern. Im Gegensatz zu OpenAI ermöglicht Q*, dass kleine Modelle die Inferenzleistung von Modellen erreichen, die um Dutzende oder sogar Hunderte Male größer sind.

Die experimentellen Ergebnisse des Forschungsteams mit dem Q*-Algorithmus sind bemerkenswert: Im GSM8K-Datensatz erzielte Llama-2-7b mit Q* eine Genauigkeit von 80,8 % und übertraf damit ChatGPT.

image.png

Im MATH-Datensatz erreichte DeepSeek-Math-7b mit Q* eine Genauigkeit von 55,4 % und übertraf damit Gemini Ultra.

Im MBPP-Datensatz erzielte CodeQwen1.5-7b-Chat mit Q* eine Genauigkeit von 77,0 % und verringerte die Lücke zur Programmierleistung von GPT-4. Diese Ergebnisse zeigen das Potenzial des Q*-Algorithmus zur Verbesserung der Inferenzfähigkeit kleiner Modelle.

Der Q*-Algorithmus funktioniert, indem er die Inferenzspuren großer Sprachmodelle in mehrere Zustände zerlegt, jeden Zustand umfassend plant und den A*-Suchalgorithmus verwendet, um die priorisierte Suche nach komplexen Inferenzaufgaben zu ermöglichen. Zusätzlich wurde ein Proxy-Q-Wert-Modell durch überwachtes Lernen trainiert, um den optimalen Q-Wert für Zustands-Aktions-Paare zu erhalten und so die Modellleistung zu verbessern.

Wichtigste Punkte:

🔍 Das Q*-Projekt stammt nicht von OpenAI. Durch den Algorithmus des Forschungsteams wurde die Inferenzfähigkeit kleiner Modelle deutlich verbessert.

🔍 Das Projekt erzielte in mehreren Datensätzen bemerkenswerte experimentelle Ergebnisse, die das Potenzial und die Effektivität des Q*-Algorithmus belegen.

🔍论文链接: https://arxiv.org/abs/2406.14283