Publicado en el blog de MAI.
William Sieghart es un mecenas de la poesía reconocido a nivel mundial, autor de grandes ventas de las antologías «Poetry Pharmacy» que ayudó a establecer el Día Nacional de la Poesía en el Reino Unido. Pero es en sus «consultas» individuales en eventos por todo el país donde da vida al poder de la poesía.
Durante estas sesiones, los participantes describen lo que tienen en mente y William recomienda un poema. Su enfoque mesurado, cálido y compasivo ha resonado con miles de personas a quienes ha prescrito poemas.
William pidió a Microsoft AI que le ayudara a escalar estas sesiones a una audiencia global. Ode Poetry, fruto de esta colaboración junto con el estudio creativo Gravity Road, aprovecha los modelos de audio de última generación de MAI para ofrecer una experiencia de poesía digital pionera.
«Cuando William se acercó a nosotros con el concepto de Ode Poetry, nos pareció la oportunidad perfecta para dar vida a nuestros modelos de audio de MAI de una manera que reflejara nuestros valores humanistas en primer lugar», dijo Trevor Back, responsable de producto de MAI.
Ode Poetry hace preguntas sobre cómo te sientes y recomienda un poema que pueda resonar, para luego reproducir una grabación de una persona real leyéndolo. La IA tan solo apoya la conexión entre el oyente, la creatividad del poema original y su lector humano. Lo hace a través de preguntas empáticas y un enfoque reflexivo para recomendar poemas basados en el análisis literario de William.
El proyecto presentó un reto técnico interesante. Para construir una experiencia vocal que responda de manera empática a los usuarios en tiempo real y recomiende un poema apropiado, el sistema debe:
- Escuchar con atención y entender a cualquier usuario
- Responder en el momento y estilo adecuados
- Mantenerse firme en el estilo único y la maestría poética de William
Utilizamos los modelos de voz de MAI para impulsar esta experiencia y trabajamos de manera estrecha con Ode para crear soluciones personalizadas para sus necesidades específicas, incluidas la seguridad y calidad de respuesta, todas detalladas a continuación.
Comprensión del habla con MAI-Transcribe
Ode Poetry utiliza nuestro modelo MAI-Transcribe para entender el lenguaje hablado en tiempo real. Líder en su clase, puede manejar las sutilezas y complejidades de la comunicación verbal, además de incluir los muchos idiomas, acentos, dialectos y estilos que la gente utiliza hoy en día.
Los datos reflejan esto. La última versión de MAI-Transcribe alcanza la tasa de error de palabra más baja (4,86%) de cualquier competidor en el benchmark FLEURS, lo que demuestra su capacidad para entender muchos idiomas y ejemplos de audio difíciles (como el ruido de fondo). El modelo permite a los usuarios interactuar de manera natural en lugar de adaptar su voz a la tecnología. Casos de uso reales como Ode Poetry demuestran la capacidad del modelo para funcionar con eficacia en entornos de producción.
Tasa media de error de palabra en diferentes idiomas
WER media en el conjunto de datos FLEURS en todos los lugares reportados por modelo. Entre más bajo, es mejor.
Aportar el habla expresiva a la IA conversacional con MAI-Voice
Ode Poetry también utiliza MAI-Voice para recrear el estilo vocal distintivo de William. Lo que hace especial a MAI-Voice es su capacidad para reproducir el estilo de habla de William con muy alta fidelidad, al utilizar solo una muestra corta de audio. Una vez que hayan escuchado la voz de William, entenderán por qué esto es tan importante.
Las capacidades de MAI-Voice se lograron al construir nuestra propia cadena de datos multilingüe a gran escala, complementada con grabaciones de estudio de alta fidelidad de los talentos de voz. Esto permitió a los investigadores entrenar un modelo con la amplitud para sonar natural en diferentes contextos y la profundidad para reproducir con fidelidad cualquier hablante específico. Aquí tienen un ejemplo:
Razonamiento entre la conversación y las recomendaciones de poemas
Ode Poetry es una experiencia conversacional única porque no solo permite una conversación natural, sino que también recomienda un poema como resultado, a través de las condiciones estructuradas que William ha proporcionado para los poemas de sus libros «Poetry Pharmacy».
Desarrollamos un arnés para destilar los años de experiencia de William con consultas personales en un sistema que pueda emparejar la conversación no estructurada con el usuario en un marco que permita recomendar el poema adecuado. Este sistema incluía lógica determinista seleccionada de manera cuidadosa y mecanismos de llamada de herramientas.
También nos centramos en una IA responsable para una experiencia de usuario segura; por ejemplo, experimentar con fugas que pueden engañar a un modelo de lenguaje para intentar diagnósticos psiquiátricos reales. Mediante un enfoque iterativo de evaluaciones de seguridad, red teaming y actualizaciones de barreras de seguridad, pudimos evitar una variedad de comportamientos desalineados del modelo.
La subida de colinas también era un componente fundamental para lograr un producto editorial premium. Los sistemas de IA de producción de alta calidad dependen de innumerables pequeñas mejoras. La precisión, la consistencia, la latencia, el razonamiento y la expresividad contribuyen al resultado final, y una fijación en una dimensión puede provocar regresiones en otra. Evaluamos Ode Poetry en una amplia variedad de escenarios emocionales y utilizamos los resultados para refinar de manera iterativa los prompts, la lógica de las recomendaciones y la salida del habla. Lograr un resultado con una excelencia consistente, requirió una iteración incansable tanto de prompts de texto como de audio, y el compromiso compartido tanto de Microsoft AI como del equipo de William convirtió esta colaboración en un acto conjunto de cuidado creativo.
Esto se refleja en el lanzamiento de la app hoy. Como compartió William cuando empezó a interactuar con su extensión digital: «Uno de [los investigadores] grabó mi presentación y lo siguiente que supe fue que reproducía mi voz… y la entonación, las pausas… Pensé, vaya, qué bonito.
«Es en verdad emocionante para mí», añadió, «porque lo que estamos a punto de emprender juntos es, de alguna manera, la ambición de toda mi vida, que es llevar la poesía a todo el mundo.»
Los invitamos a probar la experiencia de una sesión de poesía con William en Ode Poetry y a probar las últimas versiones de nuestros modelos en el MAI Playground.
Construyan el futuro con nosotros
Somos un laboratorio ágil y dinámico formado por algunas de las mentes más talentosas del mundo. Tenemos una hoja de ruta emocionante de computación en MAI, con nuestro clúster GB200 de próxima generación ya operativo. Y tenemos una misión ambiciosa en la que en verdad creemos. También tenemos la suerte de colaborar con equipos de producto increíbles, lo que da a nuestros modelos la oportunidad de llegar a miles de millones de usuarios y crear un impacto positivo inmenso. Si son personas brillantes, muy ambiciosas y con bajo ego, encajarán a la perfección—¡vengan y únanse a nosotros mientras trabajamos en nuestra próxima generación de modelos!