Comment Azure AI Content Safety contribue à protéger les utilisateurs de la classe au clavardoir?

Plus tôt cette année, le ministère de l’Éducation de l’Australie-Méridionale a décidé d’introduire l’IA générative dans ses salles de classe. Cependant, avant que ces dernières n’ouvrent leurs portes, une question se posait : comment procéder de manière responsable? 

La principale préoccupation consistait à contribuer à protéger les étudiants contre les contenus potentiellement dangereux ou inappropriés susceptibles de figurer dans les résultats d’un grand modèle de langage, étant donné que l’entraînement a lieu sur de vastes étendues d’Internet non filtrées, a déclaré Simon Chapman, directeur de l’architecture numérique du ministère.  

« Ce qui est disponible dans les versions publiques de l’IA générative est extrêmement limité pour ce qui est du secteur de l’éducation », a-t-il affirmé. « Il n’y a aucun garde-fou en ce qui concerne l’interaction éventuelle des étudiants avec ce contenu. »  

Aujourd’hui, le ministère peaufine un projet pilote d’EdChat, un agent conversationnel propulsé par l’IA. Près de 1 500 étudiants et 150 enseignants de 8 écoles secondaires ont testé la capacité du robot à effectuer des recherches sur tout, de la division cellulaire à l’intrigue du livre « Des souris et des hommes » de John Steinbeck.    

Les résultats sont toujours en cours d’évaluation par le ministère, selon M. Chapman. Cependant, le système Microsoft utilisé comme garde-fou a reçu des notes élevées. Il s’agit de Azure AI Content Safety, une plateforme propulsée par l’IA pour aider les organisations à créer des environnements en ligne plus sûrs. 

Les fonctionnalités de sécurité intégrées d’EdChat bloquaient les requêtes inappropriées et filtraient les réponses nuisibles, ce qui a permis aux enseignants de se concentrer sur les avantages pédagogiques de la technologie plutôt que sur la surveillance du contenu, a-t-il déclaré. 

« Nous n’aurions pas pu progresser à ce rythme sans la présence du service de sécurité du contenu dès le premier jour », a affirmé Simon Chapman. « C’est un incontournable. » 

Microsoft a annoncé aujourd’hui la disponibilité générale d’Azure AI Content Safety sur la plateforme d’IA Azure, qui utilise des modèles de langage et de vision avancés pour contribuer à détecter les contenus haineux, violents, sexuels et d’automutilation. Lorsque les modèles détectent un contenu potentiellement dangereux, ils lui attribuent un score de gravité estimé. Les entreprises et les organisations peuvent ainsi adapter le service pour bloquer ou signaler le contenu en fonction de leurs politiques.  

Initialement introduit dans le cadre du service Azure OpenAI, Azure AI Content Safety est désormais un système autonome. Les clients peuvent donc l’utiliser non seulement pour le contenu généré par l’IA à partir de modèles à code source libre et d’autres entreprises, mais également pour le contenu généré par les utilisateurs dans le cadre de leurs systèmes de contenu, ce qui augmente son utilité, selon Microsoft.  

À mesure que l’IA générative gagne en popularité, Microsoft vise à doter les entreprises des outils nécessaires pour la déployer de manière plus sûre, a déclaré Eric Boyd, vice-président d’entreprise de la plateforme d’IA de Microsoft.  

« Nous vivons actuellement une époque assez extraordinaire où les entreprises constatent l’incroyable puissance de l’IA générative », a affirmé M. Boyd. « En lançant Azure AI Content Safety en tant que produit autonome, nous pouvons proposer nos services à une multitude de clients dont les besoins commerciaux sont beaucoup plus vastes. » 

Ce n’est là qu’un exemple de la façon dont Microsoft s’efforce de mettre en pratique ses principes pour la création responsable d’une IA. Au sein de l’entreprise, près de 350 employés travaillent sur l’IA responsable. Au cours des dernières années, Microsoft a : préconisé une gouvernance responsable de l’IA; soutenu les engagements volontaires de la Maison-Blanche des États-Unis en matière d’IA; repoussé les limites de la recherche responsable en matière d’IA pour éclairer le développement de produits; publié une Norme d’IA responsable pour concevoir, construire et tester des systèmes d’IA; et mis des outils, comme le tableau de bord de l’IA responsable de Azure Machine Learning, entre les mains des clients. 

« Ce n’est pas une réflexion secondaire, mais un élément clé de notre histoire dans le domaine de l’innovation en IA. Nous mettons à disposition les meilleurs outils pour déterminer comment relever ces défis en matière d’IA responsable », a déclaré Sarah Bird, cheffe de produit du groupe partenaire chez Microsoft qui dirige l’IA responsable pour les technologies fondamentales. « Azure AI Content Safety est un élément fondamental qui nous permet de proposer nos applications d’IA générative à davantage de clients. »  

Solution personnalisable pour différents cas d’utilisation  

À l’interne, Microsoft s’est appuyée sur Azure AI Content Safety pour contribuer à la protection des utilisateurs de ses propres produits alimentés par l’IA. La technologie était essentielle pour lancer de manière responsable des innovations avec clavardage sur des produits tels que Bing, GitHub Copilot, Microsoft 365 Copilot et Azure Machine Learning, selon Mme Bird. 

Dans un monde inondé de contenu, les problèmes relatifs à l’IA responsable concernent toutes les entreprises et tous les secteurs. Voilà pourquoi l’un des principaux avantages d’Azure AI Content Safety est sa configurabilité, d’après Mme Bird. Les politiques peuvent être adaptées à l’environnement et aux cas d’utilisation propres à chaque client. Pour ce qui a trait au langage violent, une plateforme axée sur les jeux, par exemple, est susceptible de définir des normes différentes de celles d’une plateforme consacrée à l’enseignement en classe.  

L’entreprise énergétique Shell a développé une plateforme d’IA générative, Shell E. Cette dernière permet aux équipes de créer et de déployer des applications basées sur le code source libre ainsi que sur d’autres grands modèles de langage qui permettent aux employés de poser des questions et de récupérer des renseignements pour compléter leurs flux de travail. 

Shell E vise à aider les travailleurs à accéder aux connaissances de l’entreprise et à les utiliser de manière plus efficace, a déclaré Siva Chamarti, directeur technique principal des systèmes d’IA chez Shell. Les cas d’utilisation couvrent tous les domaines d’activité de Shell et incluent la rédaction, la synthèse et la traduction de contenu, la génération et les essais de codes, et la gestion des connaissances dans tous les domaines techniques. Les équipes étudient également des cas d’utilisation plus complexes, tels que la génération moléculaire. 

Azure AI Content Safety joue un rôle central dans la gouvernance de la plateforme Shell E en permettant la génération de texte et d’images, tout en limitant les réponses inappropriées ou nuisibles, a-t-il affirmé. L’outil vérifie la conformité de chaque entrée et sortie par rapport à la politique avant d’autoriser l’envoi du contenu généré aux utilisateurs.  

« Nous constatons un enthousiasme incroyable à l’égard de l’IA générative », a affirmé M. Chamarti. « Nous n’en sommes qu’aux débuts, mais nos collègues trouvent des utilisations créatives pour réaliser leurs propres tâches, et notre journal des cas d’utilisation ne cesse de s’allonger. »  

Renforcer la confiance à l’ère de l’IA 

Les menaces qui pèsent sur les espaces en ligne augmenteront proportionnellement à la prolifération de l’IA générative.  

Afin de garder une longueur d’avance sur ces menaces, Microsoft améliorera en permanence sa technologie grâce à la recherche et à la rétroaction de ses clients, a déclaré Mme Bird. Les travaux en cours sur les modèles multimodaux, notamment, amélioreront la détection des combinaisons potentiellement répréhensibles d’images et de texte, telles que les mèmes, qui peuvent passer inaperçues lors des contrôles individuels.  

M. Boyd a souligné que Microsoft s’occupe de la modération du contenu depuis des dizaines d’années grâce à la création d’outils qui ont contribué à protéger les utilisateurs du monde entier, des forums Xbox à Bing. Azure AI Content Safety s’appuie sur cette expérience (et sur Content Moderator d’Azure, service précédent qui permettait aux clients de tirer profit de la puissance des capacités de détection de contenu) et tire parti de nouveaux modèles efficaces de langage et de vision.  

En envisageant la sécurité de manière globale, Microsoft espère obtenir l’adoption généralisée de l’IA par les consommateurs, et ce, en toute confiance. 

« La confiance a toujours été la pierre angulaire de la marque Microsoft et d’Azure », a déclaré M. Boyd. « Alors que nous entrons dans cette ère de l’IA, notre envisageons simplement de continuer à développer les outils qui nous permettent de veiller à la protection de nos clients. » 

Ressources associées : 

• En savoir plus : Azure AI Content Safety 
• Lire : Reflecting on our responsible AI program: Three critical elements for progress 
• Lire : Announcing Microsoft’s AI Customer Commitments  
• Lire : Our commitments to advance safe, secure, and trustworthy AI 
• Lire : Learning in the AI era: How South Australia’s Department for Education is empowering students and teachers with AI in the classroom