Por qué la IA a veces se equivoca y qué grandes avances se han dado para abordar esta situación
En la época en que GPT-4 estaba en los titulares por superar las pruebas estandarizadas, los investigadores y colaboradores de Microsoft sometían a otros modelos de IA a un tipo diferente de prueba, diseñada para hacer que los modelos fabricaran información.
Para atacar este fenómeno, conocido como «alucinaciones», crearon una tarea de recuperación de texto que daría dolor de cabeza a la mayoría de los humanos y luego rastrearon y mejoraron las respuestas de los modelos. El estudio condujo a una nueva forma de reducir los casos en los que los grandes modelos de lenguaje (LLM, por sus siglas en inglés) se desvían de los datos que se les proporcionan.
También es un ejemplo de cómo Microsoft crea soluciones para medir, detectar y mitigar las alucinaciones y parte de los esfuerzos de la compañía para desarrollar la IA de una manera segura, confiable y ética.
«Microsoft quiere asegurarse de que cada sistema de IA que construye sea algo en lo que ustedes confíen y puedan usar de manera efectiva», dice Sarah Bird, directora de producto de IA Responsable de la compañía. «Estamos en una posición de tener muchos expertos y los recursos para invertir en este espacio, por lo que nos vemos en el papel de ayudar a iluminar el camino para descubrir cómo usar las nuevas tecnologías de IA de manera responsable, y luego permitir que todos los demás también lo hagan».
Esta publicación es la primera de una serie llamada Building AI Responsibly, que explora las principales preocupaciones con la implementación de IA y cómo Microsoft las aborda con sus prácticas y herramientas de IA Responsable.
A nivel técnico, las alucinaciones son contenido «desvinculado», lo que significa que un modelo ha cambiado los datos que se le han dado o ha agregado información adicional que no contiene.
Hay momentos en los que las alucinaciones son beneficiosas, como cuando los usuarios quieren que la IA cree una historia de ciencia ficción o proporcione ideas poco convencionales sobre todo, desde la arquitectura hasta la codificación. Sin embargo, muchas organizaciones que crean asistentes de IA los necesitan para ofrecer información fiable y fundamentada en escenarios como el resumen médico y la educación, donde la precisión es fundamental.
Es por eso que Microsoft ha creado una amplia gama de herramientas para ayudar a abordar la falta de vinculación, basadas en la experiencia del desarrollo de sus propios productos de IA como Microsoft Copilot.
Los ingenieros de la compañía pasaron meses en vincular el modelo de Copilot con datos de búsqueda de Bing a través de la generación aumentada de recuperación, una técnica que agrega conocimiento adicional a un modelo sin tener que volver a entrenarlo. Las respuestas, el índice y los datos de clasificación de Bing ayudan a Copilot a ofrecer respuestas más precisas y relevantes, junto con citas que permiten a los usuarios buscar y verificar información.
«El modelo es asombroso para razonar sobre la información, pero no creemos que deba ser la fuente de la respuesta», dice Bird. «Creemos que los datos deben ser la fuente de la respuesta, por lo que el primer paso para resolver el problema fue aportar datos frescos, precisos y de alta calidad al modelo».
Microsoft ahora ayuda a los clientes a hacer lo mismo con herramientas avanzadas. La característica On Your Data de Azure OpenAI Service ayuda a las organizaciones a vincular sus aplicaciones de IA generativa con sus propios datos en un entorno seguro de nivel empresarial. Otras herramientas disponibles en Azure AI ayudan a los clientes a proteger sus aplicaciones a lo largo del ciclo de vida de la IA generativa. Un servicio de evaluación ayuda a los clientes a medir la vinculación en las aplicaciones en producción y en comparación con las métricas de conexión a tierra prediseñadas. Las plantillas de mensajes del sistema de seguridad facilitan a los ingenieros la instrucción de un modelo para que se centre en la obtención de datos.
La compañía también anunció una herramienta en tiempo real para detectar el groundedness (qué tan vinculado está el contenido) a escala en las aplicaciones que acceden a los datos empresariales, como los asistentes de chat de servicio al cliente y las herramientas de resumen de documentos. La herramienta Azure AI Studio cuenta con una tecnología de un modelo de lenguaje ajustado para evaluar las respuestas con respecto a los documentos de origen.
Microsoft también está en el proceso de desarrollo de una nueva función de mitigación para bloquear y corregir instancias sin vinculación en tiempo real. Cuando se detecta un error de vinculación, la función reescribirá de manera automática la información en función de los datos.
«Estar a la vanguardia de la IA generativa significa que tenemos la responsabilidad y la oportunidad de hacer que nuestros propios productos sean más seguros y confiables, y de poner nuestras herramientas a disposición de los clientes», dice Ken Archer, gerente principal de productos de IA responsable de Microsoft.
Las tecnologías están respaldadas por la investigación de expertos como Ece Kamar, director general del laboratorio AI Frontiers de Microsoft Research. Guiado por los principios éticos de IA de la compañía, su equipo publicó el estudio que mejoró las respuestas de los modelos y descubrió una nueva forma de predecir las alucinaciones en otro estudio que analizó cómo los modelos prestan atención a las entradas de los usuarios.
«Hay una pregunta fundamental: ¿Por qué alucinan? ¿Hay formas de abrir el modelo y ver cuándo suceden?», dice. «Abordamos esto desde una lente científica, porque si entiendes por qué suceden, puedes pensar en nuevas arquitecturas que permitan una futura generación de modelos en los que las alucinaciones pueden no suceder».
Kamar dice que los LLM tienden a alucinar más en torno a hechos que están menos disponibles en los datos de entrenamiento de Internet, lo que hace que el estudio de la atención sea un paso importante en la comprensión de los mecanismos y el impacto del contenido sin fundamento.
«A medida que los sistemas de IA apoyan a las personas con tareas críticas y el intercambio de información, tenemos que tomar muy en serio todos los riesgos que generan estos sistemas, porque tratamos de construir futuros sistemas de IA que hagan cosas buenas en el mundo», dice.
Obtengan más información sobre el trabajo de IA Responsable de Microsoft.
Ilustración principal de Makeshift Studios / Rocío Galarza. Artículo publicado el 20 de junio de 2024.