Kürzlich veröffentlichte Charlie George, Machine Learning Engineer bei Elicit, einen Blogbeitrag auf LangChain, in dem er berichtete, dass sie ChatGPT mit synthetischen Daten feinabgestimmt haben und damit GPT-4 bei der Aufgabe der Nachrichtenzusammenfassung übertrafen. Die Studie verwendete Chain-of-Thought-Dichte-Feinabstimmung für ChatGPT und übertraf GPT-4 im Zero-Shot-Ansatz bei automatischen Bewertungsmetriken und erreichte fast das Niveau von GPT-4 mit Chain-of-Thought-Prompts.
Gleichzeitig war das Feinabstimmen von ChatGPT elfmal schneller als der Zero-Shot-Ansatz von GPT-4 und 33-mal schneller als GPT-4 mit Chain-of-Thought-Prompts. Die Kosten reduzierten sich um 63% bzw. 84%. Die Ergebnisse zeigen, dass ein feinabgestimmtes ChatGPT eine ähnliche Qualität bei der Nachrichtenzusammenfassung wie GPT-4 mit Chain-of-Thought-Prompts erreichen kann, jedoch mit deutlich niedrigeren Rechenkosten und höherer Geschwindigkeit.
Diese Methode bietet einen praktikablen Weg für die groß angelegte Bereitstellung von KI-Anwendungen der nächsten Generation.
