OpenScholar_ExpertEval

Interfaz de evaluación experta y script de evaluación de datos

Producto ComúnEducaciónEvaluación expertaEvaluación de datos

OpenScholar_ExpertEval es un conjunto de interfaces y scripts para la evaluación experta y la evaluación de datos, diseñado para apoyar el proyecto OpenScholar. Este proyecto sintetiza literatura científica mediante modelos de lenguaje aumentados por recuperación, y realiza una evaluación manual detallada del texto generado por el modelo. El contexto del producto se basa en un proyecto de investigación de AllenAI, y tiene un importante valor académico y tecnológico, pudiendo ayudar a investigadores y desarrolladores a comprender y mejorar los modelos de lenguaje.

Proporciona una interfaz de anotación de evaluación manual: para que los expertos evalúen el texto generado por el modelo.
Admite la evaluación RAG: puede evaluar modelos generativos aumentados por recuperación.
Evaluación granular: permite a los expertos realizar evaluaciones más detalladas.
Preparación de datos: requiere que las instancias de evaluación se coloquen en una carpeta específica
admite el formato JSONL.
Almacenamiento de datos de resultados: los resultados de la evaluación se almacenan de forma predeterminada en un archivo de base de datos local.
Exportación de resultados: admite la exportación de los resultados de la evaluación a un archivo Excel.
Cálculo de métricas de evaluación: proporciona scripts para calcular las métricas de evaluación y la consistencia.
Compartir interfaz: admite la implementación en servicios en la nube para compartir la interfaz de evaluación.

El público objetivo son investigadores
desarrolladores y educadores
especialmente profesionales que trabajan en el campo del procesamiento del lenguaje natural y el aprendizaje automático. Este producto es adecuado para ellos
ya que proporciona una plataforma para evaluar y mejorar el rendimiento de los modelos de lenguaje
especialmente en la síntesis de literatura científica.

Los investigadores utilizan esta herramienta para evaluar la precisión y fiabilidad de la literatura científica generada por diferentes modelos de lenguaje.
Los educadores pueden utilizar esta herramienta para enseñar a los estudiantes a evaluar el contenido generado por IA.
Los desarrolladores pueden utilizar esta herramienta para probar y mejorar sus propios modelos de lenguaje.

1. Instalar el entorno: siga las instrucciones del archivo README para crear y activar un entorno virtual e instalar las dependencias.
2. Preparar los datos: coloque las instancias de evaluación en la carpeta `data`. Cada instancia debe incluir el prompt y los resultados de dos modelos.
3. Ejecutar la aplicación: use el comando `python app.py` para iniciar la interfaz de evaluación.
4. Acceder a la interfaz: abra `http://localhost:5001` en su navegador para acceder a la interfaz de evaluación.
5. Resultados de la evaluación: una vez finalizada la evaluación