Hace un año, NWEA, ahora parte de HMH, compartió su enfoque innovador para hacer las matemáticas más accesibles para los estudiantes. El objetivo era identificar los mayores desafíos y brechas en matemáticas para los estudiantes que usan lectores de pantalla y dispositivos de braille refrescables, ya que los materiales de clase no siempre se adaptan a formatos como el braille o la letra grande, y los materiales no siempre son adecuados para una navegación con lector de pantalla, entrada de voz, o una combinación de estos diseños. NWEA desarrolló prototipos que permitieron a los lectores de pantalla interactuar con las ecuaciones de una manera más intuitiva, basada en un método llamado matemáticas impulsadas por procesos (PDM, por sus siglas en inglés).
NWEA continuó con la innovación y se basó en su investigación previa para crear diferentes formas de presentar matemáticas complejas, en especial para las matemáticas enseñadas en los grados sexto a noveno. También trabajaron en diferentes formas de presentar matemáticas que incluían funcionalidad de lector de pantalla y dispositivos de braille refrescables en ambos formatos UEB (Braille Inglés Unificado) y Nemeth. Además, desarrollaron un prototipo para un chatbot activado por voz.
Para dar cuenta de la accesibilidad de las ecuaciones matemáticas, utilizaron dos lenguajes de marcado, HTML y ARIA, para dividir las ecuaciones en partes o regiones. Cada región, así como la ecuación completa, tenía una etiqueta oculta que un lector de pantalla diría a los usuarios mientras exploraban la ecuación o expresión. Cuando los estudiantes se movían de una región a otra, escucharían una palabra que describía el tipo de matemáticas en esa región (por ejemplo, «término» o «constante»). Los estudiantes podían entonces decidir entrar en la región y escuchar las matemáticas exactas, o tan solo saltar a la siguiente región.
El uso de la IA generativa
Al usar la IA, en específico GPT-4, el equipo pudo mejorar tanto la calidad de las matemáticas como el tiempo requerido para convertir las ecuaciones a HTML, y usar la generación de código para escribir el código para el primer prototipo. El modelo sólo necesitó unos pocos ejemplos para aprender cómo cambiar el conjunto inicial de pruebas de ecuaciones de MathML a la estructura HTML que era la más accesible. A partir de ahí, el modelo requirió contexto para asegurar que las respuestas tenían el mejor formato posible para la aplicación.
Demo del uso de ecuaciones con un lector de pantalla:
Para sus futuros objetivos, les gustaría aprovechar los embeddings para crear una base de conocimientos que ayude a mejorar la precisión de la conversión de ecuaciones más complejas, ya que las ecuaciones tienen una estructura bien definida. También probaron una interfaz de voz prototipo que mostró la posibilidad de construir un chatbot que los estudiantes pueden usar para leer y explorar matemáticas en detalle. Similar al modelo PDM, los estudiantes pueden escuchar a un asistente virtual leer las etiquetas regionales de una ecuación, luego ordenar al asistente que se mueva a una región específica y lea su contenido en detalle. Quieren refinar y probar este enfoque más a fondo para demostrar que el habla es una opción viable para que los estudiantes con discapacidades interactúen con las matemáticas: por ejemplo, los estudiantes con discapacidades visuales y de movilidad pueden encontrar más fácil usar el asistente virtual para navegar la ecuación en lugar de usar un teclado y lector de pantalla.
Con cualquier nueva tecnología debemos trabajar de manera hacia la inclusión, de lo contrario puede llevar a la exclusión. Este proyecto fue un intento de encontrar una nueva solución a un desafío de larga data para estudiantes y profesores con discapacidades visuales, «¿cómo podemos hacer que las matemáticas digitales sean más accesibles». En proyectos futuros, NWEA quiere explorar cómo la IA generativa puede aprender las reglas tanto para el braille como para las matemáticas impulsadas por procesos para producir ecuaciones accesibles.
Artículos y enlaces relacionados:
– Hacer las matemáticas accesibles – Blog de Accesibilidad de Microsoft