¿Qué son los puntos de referencia de IA?

1. Como un examen para sistemas de IA.
2. Diseñado para evaluar una habilidad específica de forma estandarizada, dando como resultado una puntuación que permite la comparación entre sistemas.
3. Consiste en una especificación del problema, un conjunto de datos y una puntuación definida. Las respuestas correctas suelen denominarse la verdad fundamental.
4. Los puntos de referencia de IA prueban la calidad del resultado de IA de los productos EdTech: una parte de un marco de garantía de calidad más amplio.

¿Por qué son útiles los benchmarks de IA?

1. Los puntos de referencia de IA brindan un objetivo (para los desarrolladores de modelos de IA y los desarrolladores de productos EdTech) para medir y los ayudan a comprender las debilidades y enfocar las mejoras.
2. Los usuarios y los responsables de las políticas pueden ver los puntajes de desempeño, lo que les permite elegir qué sistemas de IA utilizar y aumenta la confianza en los resultados que reciben.

¿Cuáles son los principales desafíos en el desarrollo de puntos de referencia de IA en educación?

1. Obtención de recursos para el conjunto de datos, en particular de contextos de países de ingresos bajos y medios (PIBM), como preguntas de exámenes humanos existentes, recursos de aprendizaje o trabajos de estudiantes.
2. Definir la puntuación (es decir, ¿qué significa "bueno"?) al enfrentar aspectos abiertos y subjetivos de la educación.

¿Qué puntos de referencia de IA hemos desarrollado hasta ahora?

1. El Punto de Referencia Pedagogía : Los modelos de IA tienen un buen rendimiento en los exámenes de estudiantes, pero ¿saben de pedagogía y de cómo ayudar a los estudiantes a aprender? Creamos el Punto de Referencia Pedagogía para comprobar si los modelos pueden aprobar los exámenes de docentes.
2. Punto de referencia de la pedagogía SEND : una extensión que utiliza un conjunto de preguntas relacionadas con la pedagogía específica de las necesidades educativas especiales y discapacidades (SEND).
3. El Punto de Referencia de Matemáticas Visuales : Los modelos de IA pueden responder a pruebas matemáticas complejas, pero ¿qué tan bien se desempeñan con las matemáticas visuales, clave para el aprendizaje en los primeros grados? Aquí lo comprobamos precisamente.

¡Necesitamos tu ayuda!

Utilizamos estos puntos de referencia para defender la causa de los niños en países de bajos y medianos ingresos. Queremos que los desarrolladores de modelos de IA sepan cómo pueden mejorar sus modelos para estos contextos. La mejor manera de hacerlo es usar ejemplos del mundo real. ¿Conoce alguna fuente de información relevante que pueda ser útil? Por ejemplo, ejemplos de trabajos de estudiantes en países de bajos y medianos ingresos, libros de texto de matemáticas de primaria o recopilaciones de conceptos erróneos comunes. Si es así, póngase en contacto con alasdair.mackintosh@fabinc.co.uk.