Recientemente, SnorkelAI lanzó una serie de nuevas funciones en su plataforma de desarrollo de datos de IA, Snorkel Flow, diseñadas para ayudar a las empresas a acelerar la especialización de modelos de IA y aprendizaje automático. Estas nuevas funciones reducen significativamente el tiempo, el costo y la complejidad de la preparación de datos en el ciclo de vida de desarrollo de IA predictiva y generativa.
Nota de la fuente: Imagen generada por IA, proveída por Midjourney.
En las empresas actuales, disponer de "datos listos para IA" (AI-ready data) es crucial. Según Gartner, los datos listos para IA no solo deben representar el caso de uso específico, sino que también deben abarcar todos los patrones, errores, excepciones y situaciones inesperadas para entrenar o ejecutar eficazmente los modelos de IA. Además, la preparación de datos no es un proceso único, sino continuo.
La nueva versión de Snorkel Flow ofrece a las empresas una plataforma robusta para implementar y ampliar las prácticas de desarrollo de datos de IA, acelerando así la entrega de modelos de IA especializados y de alta precisión.
Específicamente, las nuevas funciones incluyen una herramienta de evaluación de LLM que permite a los usuarios realizar evaluaciones personalizadas para casos de uso específicos del sector, lo que proporciona una comprensión profunda de los tipos de errores del modelo y permite una intervención rápida en el desarrollo de datos para su corrección. Además, se incluye un flujo de trabajo de ajuste de RAG (Recuperación aumentada por generación) que mejora la precisión de la recuperación mediante el procesamiento avanzado de bloques de documentos, el ajuste fino de modelos de incrustación y la extracción de metadatos de documentos. Estas funciones reducen significativamente el tiempo de desarrollo necesario para mejorar la calidad de respuesta de los asistentes de IA.
La nueva función de Reconocimiento de Entidades Nombradas (NER) para archivos PDF permite a los usuarios extraer información de forma más fácil y rápida simplemente haciendo clic en el texto, dibujando cuadros delimitadores, especificando patrones y proporcionando indicaciones al modelo base. Esta flexibilidad simplifica la captura de información, mejorando así la precisión del modelo NER.
Además, Snorkel Flow simplifica los flujos de trabajo de anotación y retroalimentación, permitiendo a los expertos etiquetar datos de manera más eficiente. La nueva herramienta de análisis de etiquetado de secuencias ayuda a los usuarios a identificar visualmente los errores en las predicciones del modelo, ofreciendo un análisis de rendimiento más detallado.
En cuanto a la experiencia del usuario, Snorkel Flow ha experimentado una serie de mejoras que facilitan la colaboración entre científicos de datos y expertos. Se integra a la perfección con las principales plataformas de desarrollo de IA, incluyendo Databricks y Amazon SageMaker, para un ajuste fino y una implementación más rápidos de modelos especializados.
Alex Ratner, CEO de Snorkel AI, afirma: "La IA se ha convertido en una prioridad para todos los líderes empresariales, pero el desarrollo continuo y consistente de la IA sigue siendo una tarea compleja, costosa y que requiere mucha mano de obra. Por lo tanto, estas actualizaciones de la plataforma son cruciales para ayudar a las empresas a acelerar y optimizar la entrega de soluciones de IA."
Puntos clave:
🌟 Nuevas funciones: Snorkel Flow presenta una herramienta de evaluación de LLM y un flujo de trabajo de ajuste de RAG, mejorando la eficiencia de la preparación de datos.
📄 Extracción sencilla: La nueva función de reconocimiento de entidades nombradas facilita y acelera la extracción de información de archivos PDF.
🤝 Experiencia optimizada: Mejora de la experiencia del usuario, fomentando una colaboración eficiente entre científicos de datos y expertos.