Google DeepMind hat die OPRO-Technologie vorgestellt, die große Sprachmodelle (LLMs) als Optimierer für ihre eigenen Eingabeaufforderungen nutzt. Diese Technologie verwendet natürliche Sprache, um Probleme zu beschreiben und die Generierung und Verbesserung von LLMs anzuleiten. Sie ist besonders nützlich für Probleme, bei denen der Gradient schwer zu ermitteln ist.
Die Forschung zeigt die Wirksamkeit von OPRO bei mathematischen Optimierungsproblemen, insbesondere bei großen Sprachmodellen wie ChatGPT und PaLM. Obwohl der Code nicht veröffentlicht wurde, ist das Konzept von OPRO intuitiv und einfach. LlamaIndex hat eine Anleitung zur Implementierung von OPRO bei Retrieval-Augmented Generation (RAG) Aufgaben geteilt.
