OpenAI ha lanzado recientemente una importante actualización que introduce la función de "Salidas Predichas" (Predicted Outputs) para el modelo GPT-4o. Esta innovadora tecnología mejora significativamente la velocidad de respuesta del modelo, alcanzando hasta 5 veces la velocidad original en escenarios específicos, ofreciendo a los desarrolladores una experiencia de eficiencia completamente nueva.
Desarrollada conjuntamente por OpenAI y FactoryAI, esta función se destaca por su capacidad para evitar la regeneración repetitiva de contenido conocido. En la práctica, resulta especialmente eficiente en tareas como la actualización de entradas de blog, la iteración de respuestas existentes o la reescritura de código. Según datos de FactoryAI, en tareas de programación, el tiempo de respuesta se redujo entre 2 y 4 veces, pasando de 70 segundos a 20 segundos para completar una tarea.
Actualmente, esta función solo está disponible para los desarrolladores a través de la API, compatible con los modelos GPT-4o y GPT-4mini. La retroalimentación de los usuarios ha sido positiva, con numerosos desarrolladores probando y compartiendo sus experiencias. Eric Ciarla, fundador de Firecrawl, comentó sobre su uso en la conversión de contenido SEO: "El aumento de velocidad es notable, y su uso es sencillo e intuitivo."
A nivel técnico, la función de Salidas Predichas funciona identificando y reutilizando partes de contenido predecibles. La documentación oficial de OpenAI ilustra, por ejemplo, que en la refactorización de código, al modificar un atributo "Username" a "Email" en código C#, introducir el archivo de clase completo como texto de predicción aumenta considerablemente la velocidad de generación.
Sin embargo, esta función presenta algunas limitaciones y precauciones. Además de las limitaciones de los modelos compatibles, algunos parámetros de la API no están disponibles al usar Salidas Predichas, incluyendo valores de 'n' mayores que 1, 'logprobs' y valores de 'presence_penalty' y 'frequency_penalty' mayores que 0.
Cabe destacar que, si bien esta función ofrece una mayor velocidad de respuesta, también implica un ligero aumento de costes. Según datos de pruebas de usuarios, la misma tarea, que tardaba 5,2 segundos sin la función, se redujo a 3,3 segundos con ella; sin embargo, el coste aumentó de 0,1555 centavos de dólar a 0,2675 centavos. Esto se debe a que OpenAI cobra los tokens proporcionados para la predicción, aunque no sean parte del resultado final, al mismo precio que los tokens del resultado final.
A pesar del ligero aumento de costes, la notable mejora de la eficiencia hace que esta función sea muy valiosa. Los desarrolladores pueden encontrar información técnica más detallada y guías de uso en la documentación oficial de OpenAI.
Documentación oficial de OpenAI:
https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
