Por qué una mejor IA comienza con las personas que con frecuencia deja fuera
Pidan a una herramienta de IA una foto de «alguien en el trabajo» y a menudo encontrarán a una persona en un escritorio, frente a un ordenador, quizá con una taza de café en la mano. Cuando aparecen personas con discapacidad, las imágenes a veces han sido bastante incorrectas: amputados con extremidades extra, ceguera retratada con vendas, personas con enanismo con orejas enormes y puntiagudas.
El problema no radica en la intención; es la ausencia. Los sistemas de IA solo pueden aprender a partir de los datos con los que se entrenan y de los criterios usados para juzgar sus resultados. Para muchos grupos —incluidos los cerca de 1.300 millones de personas con discapacidad— no se ha centrado lo suficiente en la representación en línea para influir en ninguno de los dos.
A medida que las herramientas de IA pasan a formar parte de la vida diaria, surge un enfoque distinto. Las comunidades unidas por experiencias compartidas dejan de ser solo usuarias finales; aportan su voz colectiva y trabajan con investigadores de Microsoft para ayudar a definir la representación, evaluar sistemas de IA y dar forma a su desarrollo.
El conocido principio “nada sobre nosotros sin nosotros” ,“tiene mucho sentido”, afirma Nicholas Kalovwe, oficial de proyecto en Kilimanjaro Blind Trust Africa en Nairobi, que colabora con Microsoft para asegurar que las imágenes generadas por IA reflejen cómo viven y trabajan en realidad las personas con discapacidad visual.
“Hay conocimientos que no se pueden obtener en una sala de juntas ni a través de investigación de escritorio”, afirma Kalovwe. “Para comprender las necesidades de las personas, es necesario interactuar con las propias comunidades”.
¿Quién decide qué se ve?
Microsoft trabaja con diversas comunidades para construir bibliotecas de imágenes que las representen de manera más precisa. Estos grupos pueden ofrecer los conjuntos de datos a empresas tecnológicas y a otros actores para entrenar y probar sistemas de IA, un proceso que suele requerir miles de ejemplos.
Para los niños y jóvenes con los que trabaja Kilimanjaro Blind Trust, esto ha implicado cuestionar suposiciones sobre las personas con discapacidad visual. Las comunidades crean conjuntos de imágenes que muestran sus vidas completas en el trabajo, la escuela y la familia, en entornos urbanos y rurales, con personas de negocios bien vestidas, agricultores activos y deportistas, en lugar de representar a personas que piden limosna en las esquinas, afirma Kalovwe.
Otro grupo, el fabricante global de prótesis Ottobock, ha desarrollado campañas publicitarias en los últimos años que muestran a personas con diferencias en las extremidades que bailan, viajan y llevan su vida cotidiana como parte de esfuerzos para ayudar a la sociedad a ver a la persona completa y no solo la discapacidad, afirma Martin Böhm, Chief Experience Officer de la organización en Alemania. Sin embargo, el grupo entendió que, a medida que la IA adquiere mayor relevancia en la manera en que las personas perciben la realidad, la representación no podía detenerse en el marketing; debía extenderse a los datos con los que se entrenan los sistemas de IA.
“La IA solo puede imaginar lo que ya ha visto, y no ha visto la vida real de las personas amputadas”, dice Böhm.
Por ello, Ottobock recurrió a Microsoft para lanzar una iniciativa con el objetivo de recopilar imágenes de personas amputadas que participan en actividades comunes —no solo en contextos deportivos o médicos, sino en situaciones cotidianas que miembros de la comunidad identifican como poco visibles, desde la crianza hasta la cocina—. Ottobock formó un grupo de representantes con diferencias en extremidades superiores e inferiores para seleccionar y anotar imágenes, y luego evaluar medios generados por IA con base en esos estándares. Una vez concluido, la organización planea publicar la biblioteca en una plataforma de código abierto, con acceso para cualquier persona que trabaje con IA.
Es importante destacar que las bibliotecas se crean con apoyo de Microsoft, pero pertenecen a las propias comunidades y son gestionadas por ellas, afirma Cecily Morrison, investigadora principal senior de la compañía. Este proyecto forma parte del trabajo de Morrison con un equipo multidisciplinario que busca desarrollar herramientas de IA que incluyan a las comunidades con discapacidad como socias y que eviten que se vean a sí mismas a través de algoritmos ajenos.
“La comunidad —no los investigadores ni los equipos de marca— decide qué cuenta como buena representación”, afirma Böhm. “Esa autoridad editorial permanece con ellos. Les pertenece”.
Cuando las imágenes moldean la realidad
Investigaciones en medios y ciencias sociales han demostrado que la manera en que se representa a los grupos influye en cómo la sociedad los percibe, con efectos directos en el acceso a educación y empleo, afirma Morrison. El contenido generado por IA se ha convertido con rapidez en una de las principales fuentes de imágenes en línea, lo que implica que esas representaciones influirán en si las barreras aumentan o disminuyen.
“Es la tecnología que ha tenido la adopción más rápida”, afirma Morrison. “Por eso, hacerlo bien importa, y lo que es correcto no lo debe decidir Microsoft”.
La empresa puede, sin embargo, proporcionar soporte tecnológico que permita a las personas participar en la mejora de los sistemas de IA y en la forma en que estos las representan.
Este trabajo se apoya en medidas que Microsoft y otras compañías tecnológicas ya aplican para evitar daños, como el entrenamiento de modelos para evitar contenido sexual y violencia.
“No basta con eliminar lo ofensivo”, afirma Morrison. “También debemos alcanzar lo que es bueno. Y resulta clave que las comunidades definan qué significa ‘bueno’, porque si no lo sabemos, no podemos lograrlo”.
La evaluación como punto de influencia
La participación de las comunidades también resulta clave en el proceso de evaluar qué tan bien un sistema de IA cumple con esa definición, afirma Sunayana Sitaram, investigadora principal que trabaja en lenguaje e inclusión global en Microsoft Research India. Cuando un grupo reducido de investigadores y empresas define estos matices —muchas veces con enfoque en el idioma inglés— aparecen sesgos centrados en Occidente.
Un ejemplo aparece en las consultas de salud. Estas tienen un carácter social y cultural, no solo médico. Por esa razón, los indicadores que evalúan las respuestas de un sistema de IA deben reflejar esos contextos. Por ejemplo, una herramienta sobre salud materna debe reconocer que en algunos países las fiestas de revelación de género resultan comunes, mientras que en otros es ilegal que profesionales médicos compartan ese dato, por lo que la pregunta ni siquiera forma parte de la cultura.
“Alguien debe conocer cómo funcionan estas situaciones en distintas partes del mundo y luego crear evaluaciones y modelos en consecuencia”, afirma Sitaram. “Dado que la IA llegará a casi todas las personas del planeta, todas deben tener voz en su desarrollo”.
La evaluación representa uno de los espacios en los que esta influencia puede materializarse más allá de los recursos y conocimientos técnicos que exige la construcción de modelos de IA, afirma.
El equipo de Sitaram colabora con organizaciones de la sociedad civil en cuatro sectores prioritarios en India —salud, servicios legales, educación y finanzas—, y se apoya en estos grupos para trabajar con las comunidades a las que sirven en el diseño de marcos de evaluación basados en cómo buscan información y toman decisiones.
Las comunidades no son iguales, y Sitaram señala que el objetivo no consiste en encontrar una única voz, sino en construir procesos que reflejen experiencias diversas.
Se trata de una nueva combinación entre investigación en IA y ciencias sociales, afirma, y resulta necesaria.
“Si no sabemos qué tan bien funcionan nuestras tecnologías en distintos contextos, ¿cómo las mejoraremos?”, afirma. “Si no se mide para todas las personas, no se puede mejorar para todas. Existen miles de millones de personas y siete mil idiomas en el mundo, lo que representa un desafío de escala muy grande, pero eso no significa que no debamos intentarlo”.
Su equipo desarrolla plantillas reutilizables que permiten crear indicadores centrados en comunidades en distintas partes del mundo, junto con tablas públicas de resultados que otros investigadores y desarrolladores pueden utilizar para construir modelos de IA más inclusivos y sensibles al contexto.
“Hemos demostrado que es posible incorporar este tipo de aportaciones comunitarias en la evaluación y lograr que funcionen a gran escala”, afirma. “Esa es nuestra contribución. Impulsa la ciencia de la evaluación”.
Cuando la participación influye en los resultados
La participación no se limita al entrenamiento o la evaluación de los modelos. También implica asegurar que las comunidades tengan voz real sobre la información que se recopila de sus vidas y sobre su uso, afirma Mary L. Gray, antropóloga e investigadora principal en Microsoft.
Dotar a las comunidades de herramientas para influir tanto en los datos de entrada como en los resultados de la IA aumenta la probabilidad de que se beneficien de las herramientas que ayudan a crear, afirma Gray.
Su trabajo examina cómo se aplica este enfoque en la práctica, en especial en salud y servicios sociales —entornos en los que la confianza resulta esencial y la información es bastante personal, desde condiciones médicas hasta ingresos y vivienda—.
“La participación comunitaria es una metodología”, afirma Gray, y no una etapa que se cumple al final del desarrollo tecnológico.
Una parte central se relaciona con quién controla los datos y quién toma decisiones sobre su uso. Las personas no solo deben autorizar el uso de su información; también deben poder cambiar esa decisión más adelante. Este principio no se aplica con frecuencia, en especial cuando grandes organizaciones recopilan los datos lejos de los espacios de atención directa.
La confianza se construye —o se pierde— en los datos
En lugar de solicitar que las personas cedan sus derechos sobre los datos y permitir que estos se integren en sistemas centralizados, el equipo de Gray desarrolla enfoques que permiten a las comunidades conservar el control de la información que recopilan y generan, mientras utilizan herramientas de IA para obtener conocimiento a partir de ella. Esto importa porque los hallazgos relevantes provienen de patrones en muchos pacientes, no de registros individuales, afirma, y las comunidades se encuentran en una posición adecuada para reunir esa información de manera responsable.
Su equipo colabora, por ejemplo, con la organización sin fines de lucro flok, cuya aplicación ayuda a pacientes y cuidadores que gestionan ciertos trastornos metabólicos raros a registrar aspectos de la vida diaria —alimentación, sueño y estado emocional día a día—. Esta información no suele aparecer en expedientes clínicos, pero resulta valiosa para investigadores que buscan comprender el comportamiento de una enfermedad.
El esfuerzo permite a los miembros de flok compartir su experiencia para contribuir a la investigación sin perder el control de su información personal.
La ventana para hacerlo bien
Todos estos esfuerzos —desde bibliotecas de imágenes hasta indicadores definidos por comunidades y plataformas seguras de datos— se desarrollan en una etapa temprana de la vida pública de la IA, afirma Morrison, en un momento en el que la tecnología avanza con mayor rapidez que los sistemas diseñados para guiarla.
La IA generativa ha estado en el ámbito público durante cerca de tres años y, hasta ahora, el objetivo ha sido lograr su funcionamiento, afirma. Ahora el objetivo cambia: debe funcionar para todas las personas.
Lo que está en juego es alto y urgente.
“Queremos un mundo en el que queramos vivir, y para lograrlo debemos construir el mundo correcto, y hacerlo ahora”, afirma. “No queremos esperar cinco años para descubrir que construimos el mundo equivocado, porque no será posible retroceder”.
Foto principal: Personas con diferencias en las extremidades colaboran con Ottobock y Microsoft para ampliar conjuntos de datos de imágenes para el entrenamiento de IA que reflejen mejor la vida cotidiana. Foto cortesía de Ottobock.
Historia publicada el 19 de mayo de 2025.
Susanna Ray escribe sobre IA y tecnología, con historias que muestran su impacto en la vida real y analizan cómo la innovación transforma el trabajo, los negocios y la sociedad. Con anterioridad, reportó para Bloomberg News y otros importantes medios internacionales en Estados Unidos y en el extranjero, con cobertura en ámbitos que van desde la política y el gobierno hasta los negocios y la aviación. Consulten su trabajo en Microsoft Source.