La medición es la clave para ayudar a mantener la IA en el buen camino

Cuando Hanna Wallach comenzó a probar modelos de aprendizaje automático, las tareas estaban bien definidas y eran fáciles de evaluar. ¿El modelo identificó de manera correcta a los gatos en una imagen? ¿Predijo con precisión las calificaciones que los diferentes espectadores le dieron a una película? ¿Transcribió las palabras exactas que alguien acababa de pronunciar?

Pero este trabajo de evaluar el rendimiento de un modelo se ha transformado con la creación de IA generativa, como los grandes modelos de lenguaje (LLM, por sus siglas en inglés) que interactúan con las personas. Por lo tanto, el enfoque de Wallach como investigadora en Microsoft ha cambiado a medir las respuestas de la IA para riesgos potenciales que no son fáciles de cuantificar: «conceptos humanos difusos», dice, como la equidad o la seguridad psicológica.

Este nuevo enfoque de la medición, es decir, la definición y evaluación de riesgos en la IA y la garantía de que las soluciones sean eficaces, analiza los elementos sociales y técnicos de cómo la tecnología generativa interactúa con las personas. Eso lo hace mucho más complejo, pero también crítico para ayudar a mantener la IA segura para todos.

Esta publicación es parte de la serie Building AI Responsibly de Microsoft, que explora las principales preocupaciones con la implementación de IA y cómo la compañía las aborda con sus prácticas y herramientas de IA responsable.

«Gran parte de lo que hace mi equipo es averiguar cómo se pueden utilizar estas ideas de las ciencias sociales en el contexto de la IA responsable», dice Wallach. «No es posible entender los aspectos técnicos de la IA sin entender los aspectos sociales, y viceversa».

Su equipo de científicos aplicados en Microsoft Research analiza los riesgos que se descubren a través de los comentarios de los clientes, los investigadores, los equipos de productos y políticas de Microsoft y el Equipo Rojo de IA de la empresa, un grupo de tecnólogos y otros expertos que pinchan los sistemas de IA para ver dónde podrían salir mal las cosas.  

Cuando surgen problemas potenciales, con injusticias, por ejemplo, como un sistema de IA que muestra solo mujeres en la cocina o solo hombres como directores ejecutivos, el equipo de Wallach y otros en la empresa intervienen para comprender y definir el contexto y el alcance de esos riesgos y todas las diferentes formas en que podrían aparecer en diversas interacciones con el sistema.

Una vez que otros equipos desarrollan correcciones para cualquier riesgo que los usuarios puedan encontrar, su grupo vuelve a medir las respuestas del sistema para asegurarse de que esos ajustes sean efectivos.

Ella y sus colegas lidian con conceptos nebulosos, como lo que significa para la IA estereotipar o degradar a grupos particulares de personas. Su enfoque adapta los marcos de la lingüística y las ciencias sociales para precisar definiciones concretas y respetar los significados controvertidos, un proceso conocido como «sistematización». Una vez que han definido, o sistematizado, un riesgo, comienzan a medirlo a través de técnicas de anotación, o métodos utilizados para etiquetar las respuestas del sistema, en interacciones simuladas y del mundo real. A continuación, puntúan esas respuestas para ver si el sistema de IA funcionó de forma aceptable o no.

El trabajo del equipo ayuda con las decisiones de ingeniería, al proporcionar información granular a los tecnólogos de Microsoft a medida que desarrollan mitigaciones. También respalda las decisiones de política interna de la empresa, y las mediciones ayudan a los líderes a decidir si un sistema está listo para su implementación y cuándo.