Cuando Hanna Wallach comenzó a probar modelos de machine learning, las tareas estaban bien definidas y eran fáciles de evaluar. ¿Identificó el modelo correctamente a los gatos en una imagen? ¿Predijo con precisión las calificaciones que diferentes espectadores dieron a una película? ¿Transcribió de forma exacta las palabras que alguien acababa de decir?
Sin embargo, este trabajo de evaluar el rendimiento de un modelo se ha transformado con la IA generativa, como los grandes modelos de lenguaje (LLMs) que interactúan con las personas. Por ello, el enfoque de Wallach como investigadora en Microsoft ha cambiado, pasando a medir las respuestas de la IA en busca de posibles riesgos que no son fáciles de cuantificar: «conceptos humanos difusos», señala, como la equidad o la seguridad psicológica.
Este nuevo enfoque de medición, es decir, la definición y evaluación de los riesgos de la IA y asegurar que las soluciones sean efectivas, examina tanto los elementos sociales como los técnicos de la forma en que la tecnología generativa interactúa con las personas. Esto lo hace mucho más complejo, pero también más crítico a la hora de ayudar a mantener la IA segura para todos.
«Gran parte de lo que hace mi equipo es averiguar cómo utilizar estas ideas de las ciencias sociales en el contexto de la IA responsable», dice Wallach. «No es posible entender los aspectos técnicos de la IA sin entender los sociales, y viceversa».
Su equipo de científicos en Microsoft Research analizan los riesgos que descubren a partir de los comentarios de los clientes, investigadores, equipos de Producto y políticas de Microsoft, y el red team de la IA, un grupo de tecnólogos y otros expertos que examinan y evalúan los sistemas de IA para ver dónde podrían fallar.
Cuando surgen problemas potenciales, por poner un caso, de desigualdad, por ejemplo un sistema de IA que solo muestre a mujeres en la cocina o a hombres como directores ejecutivos, el equipo de Wallach, junto a otros de la compañía, intervienen para comprender y definir el contexto y la magnitud de esos riesgos y las diferentes maneras en que podrían aparecer en distintas interacciones con el sistema.
Una vez que otros equipos desarrollan soluciones para cualquier riesgo que los usuarios pudieran encontrar, su grupo mide de nuevo las respuestas del sistema para asegurarse de que esos ajustes sean efectivos.
Ella y sus compañeros lidian con conceptos conflictivos, como lo que significa para la IA estereotipar o degradar a grupos particulares de personas. Su enfoque adapta los marcos de la lingüística y las ciencias sociales para precisar definiciones concretas y, al mismo tiempo, respetar los significados controvertidos, un proceso conocido como «sistematización». Una vez que han definido o sistematizado un riesgo, comienzan a medirlo empleando técnicas de anotación, o métodos para etiquetar las respuestas del sistema, en interacciones simuladas y del mundo real. Tras esto, califican esas respuestas para ver si el sistema de IA actuó de forma aceptable o no.
El trabajo del equipo ayuda con las decisiones de ingeniería, proporcionando información detallada a los tecnólogos de Microsoft mientras estos desarrollan medidas correctivas. Asimismo, el equipo respalda las decisiones de política interna de la empresa, y sus mediciones ayudan a los líderes a decidir si un sistema está listo para su implementación.
“¿Cómo sabremos si nuestras medidas correctivas y soluciones son efectivas a menos que midamos? Esto es lo más importante en relación a la IA responsable en este momento». Sarah Bird, directora de productos de IA responsable de Microsoft
Dado que los sistemas de IA generativa trabajan con texto, imágenes y otras modalidades que representan a la sociedad y al mundo que nos rodea, el equipo de Wallach se conforma con una combinación única de conocimientos. Su grupo incluye científicos con formación en informática y lingüística, que analizan cómo pueden manifestarse los diferentes tipos de riesgos. Además, colaboran con investigadores, expertos en diferentes áreas, asesores de políticas, ingenieros y otros profesionales para incluir la mayor cantidad de perspectivas y experiencia posibles.
A medida que el uso de los sistemas de IA es cada vez más común, es cada vez más importante que representen y traten a los grupos marginados de manera justa. Así, el año pasado, por ejemplo, el grupo trabajó con el equipo del director de Accesibilidad de Microsoft para intentar comprender los riesgos relacionados con la equidad que afectan a las personas con discapacidades. Comenzaron profundizando en lo que significa representar de manera justa a las personas con algún tipo de discapacidad e identificando cómo las respuestas de los sistemas de IA pueden reflejar el “capacitismo”, es decir, la discriminación y los prejuicios sociales contra las personas con discapacidades físicas o mentales. El grupo también se puso en contacto con distintas asociaciones y líderes de la comunidad para obtener más información sobre las experiencias que tienen las personas con discapacidades al interactuar con la IA.
Convertir esa información en un concepto claramente sistematizado ayuda a desarrollar métodos para medir los riesgos, revisar los sistemas según sea necesario y monitorizar la tecnología para garantizar una mejor experiencia para las personas con discapacidades.
Una de las nuevas herramientas metodológicas que el equipo de Wallach ha ayudado a desarrollar, las evaluaciones de seguridad de Azure AI Studio, utiliza la propia IA generativa, un avance que puede medir y monitorizar continuamente sistemas cada vez más complejos y generalizados, dice Sarah Bird, directora de Productos de IA responsable en Microsoft.
“No es posible entender los aspectos técnicos de la IA sin entender los aspectos sociales, y viceversa”. Hanna Wallach, investigadora de Microsoft
Una vez que la herramienta recibe las aportaciones correctas e instrucciones sobre como etiquetar los resultados de un sistema de IA, lleva a cabo un juego de roles, por ejemplo, simulando ser alguien que intenta obtener contenido sexual inapropiado. A continuación, califica las respuestas del sistema, basándose en pautas que reflejan el riesgo, cuidadosamente sistematizado. Tras esto, las puntuaciones resultantes se agregan usando métricas para evaluar el alcance del riesgo. Grupos de expertos auditan regularmente las pruebas para asegurarse de que sean precisas y estén alineadas con las calificaciones de los humanos, dice Bird.
«Lograr que el sistema de IA se comporte como los expertos es algo que requiere mucho trabajo e innovación, y es realmente desafiante y divertido de desarrollar», a medida que Microsoft invierte en el campo emergente de la ciencia de la evaluación, comenta. Los clientes de Microsoft también pueden usar la herramienta para medir el rendimiento de sus “chatbots” u otros sistemas de IA basándose en sus objetivos específicos de seguridad.
«La evaluación es lo que nos ayuda a entender cómo se comporta un sistema de IA a gran escala», comenta Bird. «¿Cómo sabremos si nuestras medidas correctivas y soluciones son efectivas a menos que las midamos? Esto es lo más importante en la IA responsable en este momento.»
Lee las dos primeras publicaciones de esta serie sobre las alucinaciones de IA y los red teams.
Conoce más detalles sobre el trabajo sobre IA Responsable de Microsoft.
