Por: Abhishek Arun, gerente de ciencias aplicadas; Ram Bairi, RSDE senior; Paul Bennett, gerente principal de investigación; Kevin Moynihan, gerente de programa; Adam D. Troy, científico aplicado.
Es un día importante para ustedes. Tienen reuniones consecutivas con clientes y socios importantes y una conferencia de padres y maestros justo a la mitad de todo esto. A medida que llegan a la última reunión, de pronto no pueden recordar los puntos clave. ¿Quién les envió las notas de preparación previa? ¿Fue Taylor? No, tal vez fue Drew. No hay surte. Están a dos minutos de que inicie la reunión y lo que más quieren en ese momento es sacar su teléfono y gritarle:
Si tan solo existiera un sistema inteligente que les permitiera encontrar información sin esfuerzo. Ahora la hay: Meeting Insights brinda capacidades de IA que les ayudan a encontrar información antes, durante y después de las reuniones tan fácil que es como si tuvieran a su asistente para ayudarles. Meetings Insights está ahora disponible para clientes comerciales de Microsoft 365 y Office 365 en Outlook móvil (en dispositivos Android e iOS) y en Outlook para web. Quisiéramos quitar la cubierta y hablar sobre la ciencia y la tecnología que impulsa este escenario. También, vamos a compartir por qué Meetings Insights es sólo la punta del iceberg de cómo en Microsoft desarrollamos capacidades impulsadas por IA para simplificar y mejorar la experiencia y productividad del cliente. En la actualidad, probamos dos nuevas funciones que expanden las recomendaciones inteligentes de contenido hacia nuevos escenarios en Outlook.
Brindar utilidad en cada contexto
A menudo, los clientes dicen que encontrar contenido de las reuniones es un desafío. Por lo tanto, nos decidimos a construir una solución inteligente personalizada que brinda a los clientes información de sus buzones de correo, cuentas de OneDrive for Business y sitios de SharePoint para ayudarles de mejor manera a cumplir con las metas de sus reuniones.
La solución que desarrollamos impulsa a la función Meeting Insights, que hace más efectivas las reuniones al ayudar a los clientes a:
- Prepararse para sus reuniones al ofrecerles contenido que no habían tenido oportunidad de leer o que tal vez quieran volver a revisar;
- Acceder con facilidad a contenido relevante durante sus reuniones;
- Recuperar información sobre reuniones completadas al devolver contenido presentado durante la reunión, enviar notas de la reunión, y otro material relevante posterior a la reunión
IA de gran escala, personal y que preserva la privacidad
Los emails y archivos más útiles para una reunión pueden cambiar con el tiempo (por ejemplo, aquellos que eran más útiles antes, podrían ser diferentes de aquellos más útiles durante o después). Para poder crear un servicio relevante y de utilidad, necesitábamos encontrar una manera de razonar a través de la información compartida por un cliente, así como de los archivos en su organización para los que tienen permiso de acceso y han optado por compartir. Microsoft 365 mantiene un estricto compromiso para proteger los datos de los clientes, con la promesa de sólo utilizar los datos del cliente para los servicios acordados y no mirar los datos durante el desarrollo o implementación de una nueva función. Esta promesa con la privacidad, en lugar de ser un obstáculo, nos impulsó a pensar de manera creativa e innovadora. Como se detalla a continuación, utilizamos una creativa combinación de algoritmos débiles y auto supervisados de aprendizaje automático (ML, por sus siglas en inglés) en Meeting Insights, para entrenar modelos de lenguaje de gran escala sin mirar los datos de cualquier cliente.
La necesidad de razonar de manera eficiente sobre millones de cuerpos privados, cada uno con, de manera potencial, millones de elementos, subraya la complejidad del problema que necesitábamos resolver en Meeting Insights. Para lograr este razonamiento, Meeting Insights se apoya en Microsoft Graph, donde los datos compartidos son capturados en una representación gráfica. Microsoft Graph brinda APIs convenientes para razonar sobre todos los emails compartidos, archivos y reuniones para los clientes, así como la relación entre estos elementos. Esto brinda un alto nivel de personalización para satisfacer las necesidades de los clientes de manera precisa.
Construir funciones inteligentes como Meeting Insights en el entorno empresarial presenta problemas adicionales para el flujo de trabajo estándar del ML. En el entorno empresarial, los clientes tienen altas expectativas sobre los nuevos productos, en especial para aquellos en sus flujos críticos de trabajo y aún más cuando pagan por el servicio. Dado que existe una necesidad para que un modelo inicial trabaje fuera de la puerta, los flujos estándar de trabajo de ML, que despliegan un modelo heurístico con desempeño moderado y les toma tiempo aprender de los datos de interacción, llevan a una falta de aceptación del producto. En Meeting Insights, utilizamos algoritmos de ML que requieren menos supervisión, para personalizar de manera más rápida las experiencias de los clientes.
Este desafío, al que nos referimos como el problema “de inicio”, es por lo tanto, crítico para el éxito de un producto en los escenarios empresariales. Esto va más allá de los desafíos estándar de “arranques en frío”, donde faltan los datos sobre un elemento en particular o de un nuevo usuario y en su lugar, el desafío primario es arrancar todo el proceso. Los enfoques comunes para mejorar el desempeño del modelo antes de la implementación, como obtener anotaciones de jueces de origen masivo, tienen una aplicabilidad limitada o nula, debido a la naturaleza personal y sensible a la privacidad de los desafíos de recomendación y aprendizaje. Por último, Microsoft 365 es utilizado en todo el mundo, y queríamos que esta tecnología estuviera disponible de la manera más amplia posible y no sólo para algunos idiomas seleccionados.
Resolver los desafíos técnicos
Para hacer posible Meeting Insights, necesitábamos aprovechar tres componentes clave: supervisión débil que es independiente del lenguaje, personalización enriquecida por Microsoft Graph, y una canalización ágil de ML que preserva la privacidad.
Supervisión débil: El aprendizaje supervisado a gran escala brinda resultados de última generación para muchas aplicaciones. Sin embargo, esto no es práctico cuando se construyen nuevos escenarios de búsqueda empresarial, debido a la naturaleza personal y sensible a la privacidad del espacio del problema. En lugar de tener anotadores que etiquetan datos, cambiamos a la supervisión débil, un enfoque donde la heurística puede ser definida para etiquetar datos de manera programática. Para aplicar una supervisión débil a esta tarea, utilizamos la plataforma de experimentación de cumplimiento de normas de Microsoft. A los emails y archivos adjuntos en reuniones se les asignó una etiqueta positiva, y todos los emails y archivos que el organizador pudo adjuntar durante la creación de una reunión, pero no lo hizo, se les asignó una etiqueta negativa. El beneficio de utilizar supervisión débil para este problema fue más allá de preservar la privacidad, pues nos permitió escalar de manera rápida y económica a través de idiomas y estilos de comunicación – todo lo cual sería en extremo desafiante con un enfoque de modelado con una fuerte supervisión que involucrara anotadores.
Personalización: Identificar la información más relevante y útil para un cliente requiere entender a las personas y frases que son importantes para esa persona. Para poder identificar el conjunto candidato de elementos relevantes y clasificarlos, aprovechamos representaciones personalizadas de las frases y personas clave más importantes para una persona. Estas representaciones personalizadas son aprendidas en una manera auto supervisada y que preserva la privacidad a partir de nodos y entornos en Microsoft Graph. Luego, el contexto de la reunión es combinado con estas representaciones de personas y frases clave personalizadas para construir un conjunto candidato que utiliza lo mismo. El extremo de Microsoft Search utiliza la misma tecnología Microsoft Search que impulsa la búsqueda en aplicaciones como Outlook, Teams, y SharePoint. En la etapa de la clasificación final, estas representaciones personalizadas, así como más integraciones generales, son utilizadas para procesar la relación semántica entre el contexto y los elementos candidatos, la fortaleza de la relación a través de funciones de gráfico, y la fortaleza de la colaboración con base en la relación entre personas clave.
Canalización ágil de ML que preserva la privacidad: Como se mencionó arriba, preservar la privacidad de los datos de nuestros clientes es sagrado para Microsoft. Las técnicas de algoritmo débil y auto supervisado descritas arriba nos permiten entrenar de manera algorítmica modelos de lenguaje agnóstico de gran escala y con una alta precisión sin tener que mirar los datos de los clientes. Sin embargo, para poner en práctica los algoritmos, probarlos e innovar, necesitábamos una plataforma que hiciera posibles enfoques como este. Las innovaciones en el frente del modelado fueron de la mano con el desarrollo de plataformas y procesos de ML que permitieron a nuestros científicos mantenerse ágiles. Nuestra plataforma interna de experimentación de cumplimiento de normas brinda salvaguardas clave de privacidad. Por ejemplo, nuestros algoritmos pueden operar en contenido del cliente para brindarle recomendaciones de manera directa, peor nuestros ingenieros no pueden ver eso excepto cuando es suyo. Muchas herramientas fueron desarrolladas para asistir en monitorear y depurar nuestra canalización de ML y activar alertas cuando la calidad de los datos, así como las correlaciones entre señales y etiquetas divergen de los valores esperados.
Auto hospedaje para mejorar para nuestros clientes
A medida que desarrollamos Meeting Insights, primero lo distribuimos a nuestros clientes internos de Microsoft e instrumentamos sus interacciones con la experiencia para identificar áreas de mejora. Durante el inicio, vimos a partir de los datos que habíamos instrumentado, que 90% del uso de Meeting Insights en un día determinado era para reuniones de ese día o del siguiente. Armados con esa información, pudimos implementar una optimización significativa mediante la captura previa de la información de valor de esas reuniones en el momento en que el cliente abre su calendario. Esta estrategia informada a partir de datos, resultó en una reducción del 50% de la latencia percibida por el cliente.
El involucramiento del cliente con el producto desplegado mostraron otros fuertes efectos temporales que valen la pena llamar para esta experiencia:
- Para reuniones, la frescura es importante con alrededor de 5% de los clics de información de valor que suceden dentro los 15 minutos posteriores a la creación de la reunión.
- Para información de valor de email, 30% de los clic van a los emails enviados/recibidos en las 24 horas anteriores a la hora de la solicitud del usuario.
- Para información de valor de archivos, 35% de los clics van a los archivos creados o modificados en las 24 horas anteriores a la hora de la solicitud del usuario.
En menos de cuatro meses después de distribuir nuestra primera experiencia de Meeting Insights (para invitaciones de reunión escritas en inglés), pudimos expandir el soporte a todos los clientes empresariales en todos los idiomas. Esto fue posible al aprovechar de manera efectiva Microsoft Graph, ser creativos en los enfoques de modelado de bajo costo que empleados, y en ser cuidadosos en el diseño de nuestras soluciones de IA al utilizar supervisión débil y evitar dependencias específicas de idioma. En los últimos meses, vamos a distribuir Meeting Insights a los a los destinatarios de Cortana Briefing Mail.
Meeting Insights es mostrado en la actualidad en más de 40% de reuniones abiertas en clientes soportados de Outlook, con clientes que reportan útiles dos de cada tres sugerencias.
Brindar una inteligencia contextual más amplia
Meeting Insights no es el único lugar donde brindamos inteligencia contextual que hace más fácil la vida de nuestros clientes. Estamos en la búsqueda de maneras en las que podamos utilizar Meeting Insights para acelerar nuestras ofertas en otros escenarios a través de la utilización de técnicas como aprendizaje de transferencia, que ha probado ser una manera efectiva y eficiente para que nosotros obtengamos valor reutilizable de los modelos de IA aprendidos para un escenario, pero que se han vuelto a aplicar a otro.
Por ejemplo, ahora transferimos los aprendizajes de nuestros modelos de Meeting Insights para impulsar otras funciones de recomendaciones de contenido inteligente como “Suggested Attachments” y “Suggested Reply with File” en Outlook. Estas funciones toman a un cliente y a un email como información de entrada para regresar sugerencias de adjunto relevantes a nivel contextual que reducen de manera significativa el tiempo y esfuerzo requeridos para compartir contenido a través de email.
Imaginen que van hacia esa última reunión de nuevo, después de un día muy ocupado. De pronto se les olvidaron los puntos clave, y no recuerdan quién envió esas notas previas a la reunión. ¿Fue Taylor? ¿Fue Drew? Quieren gritar al cielo, pero luego un pensamiento aparece en su mente. Con calma, inician Outlook móvil en su teléfono mientras se acerca la hora de la reunión, y con un solo toque en la reunión, sus notas previas aparecen al fondo de la pantalla, gracias a Meeting Insights. Ahora, están listos.
Esperamos continuar con las mejoras para la vida de nuestros clientes y también esperamos que la siguiente vez que vayan a entrar a una reunión, también lo hagan con mayor confianza, con la certeza de que Meeting Insights estará ahí para ayudarles.