Elle souhaitait prendre des photos. Il voulait comprendre les films en anglais. Voici comment ils y sont parvenus grâce à l’intelligence artificielle.

 |   Thomas Kersten, Philanthropies Lead Microsoft BeLux.

Monique utilise un smartphone

La dernière fois qu’elle a pu voir sa famille, ses animaux et ses fleurs, elle avait onze ans. Née avec un glaucome congénital entraînant une détérioration du nerf optique, Monique Van den Abbeel est devenue aveugle de l’œil droit à quatre ans et a perdu la vue du côté gauche sept ans plus tard. Plusieurs opérations au fil des ans n’ont rien changé pour la Belge originaire de Bruges. Les souvenirs visuels de son entourage et de son environnement étaient bien ancrés en elle, mais ils ont commencé à s’effacer petit à petit. Aujourd’hui âgée de 43 ans et tout aussi courageuse, forte et indépendante que lorsqu’elle était enfant, Monique Van den Abbeel rêvait de photographier ses petits bonheurs avec son smartphone, « pour raviver mes souvenirs et les garder précieusement », confie-t-elle.

Dans la ville de Lokeren, à une heure de route de Bruges, un jeune garçon enthousiaste de 17 ans aime nager, écouter des livres audio et regarder la télévision ainsi que des films en streaming avec sa famille en rentrant chez lui le week-end. En Belgique néerlandophone, beaucoup de films et d’émissions télévisées sont diffusés en anglais avec des sous-titres néerlandais. Wouter De Brandt est néerlandophone et éprouve des difficultés à lire en raison d’un trouble neurovisuel causé par une lésion cérébrale apparue avant et pendant sa naissance. Lorsqu’il essaye de lire, Wouter De Brandt souffre de nausées, de vertiges et perd l’équilibre. Il était important pour lui de trouver un moyen d’écouter en néerlandais les films que sa famille regardait.

Wouter souriant
Wouter et sa maman.
Monique Van den Abbeel et Wouter De Brandt ne se connaissent pas, bien que les Belges ont pour habitude de dire que tout le monde se connaît dans ce petit pays d’environ 150 km de large et 300 km de long. Leurs rêves, à savoir prendre des photos pour Monique et comprendre les dialogues de films pour Wouter, se sont concrétisés grâce à une petite équipe qui avait conscience de leurs frustrations et avait envie de leur venir en aide.

Au sein de cette équipe figure Katrien De Graeve, une programmeuse et développeuse web essentiellement autodidacte, à l’aise avec la technologie, mais pas nécessairement avec le contact humain. Née en France et vivant en Belgique, Katrien De Graeve propose ses services à des entreprises spécialisées dans les sites de commerce électronique et les applications web. En 2008, elle a été engagée par Microsoft en Belgique où elle a exercé plusieurs fonctions au cours des onze dernières années, de promotrice de développement à spécialiste en Internet des objets, son poste actuel, au sein de l’équipe Azure Global Black Belt composée d’architectes cloud et axée sur les clients. L’année dernière, Katrien De Graeve a rejoint les huit participants d’une nouvelle émission télévisée, « Team Scheire », une émission belge semblable à la série de documentaires de la BBC, « The Big Life Fix », où des inventeurs mettent au point des solutions technologiques qui répondent aux besoins précis de certaines personnes. (La série de la BBC présentait les travaux d’Haiyan Zhang, la chercheuse Microsoft qui a créé une montre capable d’interrompre temporairement les tremblements des mains de la graphiste Emma Lawton, atteinte de la maladie de Parkinson.).

Katrien De Graeve a fait partie de l’équipe de « Team Scheire », même si elle n’était pas réellement à l’aise lors du tournage de ses séances d’échanges d’idées avec ses collègues Microsoft, de ses rencontres avec Monique Van den Abbeel et Wouter De Brandt tout au long du projet et des ses réflexions tard le soir pour trouver des solutions aux projets, parfois durant le week-end. Elle ne se trouvait pas dans sa « zone de confort », l’une des raisons pour laquelle elle a d’ailleurs accepté le projet. « Je n’aurais jamais pensé vivre ça un jour », explique-t-elle.

Katrien de Graeve assise et souriante
Katrien de Graeve, architecte cloud chez Microsoft.

Parmi les centaines de demandes envoyées par le public avant la première saison de « Team Scheire » l’an dernier, l’animateur et journaliste technologique et scientifique Lieven Scheire a dû choisir 16 personnes avec son équipe. Les inventeurs étaient alors chargés de trouver le moyen d’aider deux personnes chacun. « Entre toutes les situations, celle de Monique Van den Abbeel était la plus extraordinaire », souligne Lieven Scheire. Il se souvient d’une séance où l’équipe s’est réunie pour aborder le sujet.

« Une personne aveugle souhaite prendre ses propres photos sans l’aide de personne. Chacun s’est regardé en se disant qu’il comprenait la situation, mais sans imaginer ne serait-ce que le début d’une solution. Comment aider une personne aveugle à prendre des photos ? ». 

Avec l’aide de ses collègues, Katrien De Graeve était persuadée qu’une solution était envisageable. Elle était également déterminée à aider Wouter De Brandt. En plus d’un jeune qui souhaitait passer de bons moments en famille, elle a vu en lui une personne qui voulait être capable de discuter avec ses amis à l’école des derniers films et émissions du moment, autrement dit d’avoir des conversations banales entre adolescents.

Monique

En parlant avec Monique Van den Abbeel, il est immédiatement perceptible que c’est une personne sociable et joyeuse, au rire éclatant et à la voix trépidante. Elle a énormément de succès sur les réseaux sociaux, y compris Instagram, Facebook et YouTube. Elle dispose de son propre site web qu’elle a lancé en 2016 pour promouvoir son autobiographie « Graag Zien! Blinde mama, Sterke vrouw » (Le plaisir de voir ! Maman aveugle, femme forte). Elle est la mère célibataire d’un garçon de 17 ans et est la première personne en Belgique à avoir un cheval guide d’aveugle (oui, vous avez bien lu, un cheval guide d’aveugle). La question suivante a été posée à son fils, Robin : « L’un des amis de ta maman est-il aussi actif en ligne qu’elle ? » « Non, aucun d’eux ! », a-t-il répondu, louant son énergie, sa persévérance et son envie de rester connectée au monde qui l’entoure. Monique Van den Abbeel participe à des conférences publiques où elle explique à quoi ressemble la vie d’une personne aveugle. Elle apprécie donner des représentations qui illustrent ses talents de comédienne, de chanteuse et de danseuse.

Depuis qu’il est né, Robin est pris en photo par sa maman qui devine comment et où le photographier grâce à sa position et au son de sa voix. Elle continue à prendre des photos à l’aide d’un smartphone en procédant de la même façon. Robin aide Monique à choisir ses plus belles photos et les publie ensuite en ligne pour elle. Cependant, elle voulait aller plus loin que simplement déclencher l’objectif. Elle souhaitait véritablement savoir à quoi ressemblaient ses photos et si elles étaient nettes et bien cadrées. À l’arrivée de son cheval nain Dinky, mesurant moins d’un mètre de haut, elle savait que les occasions de photographier ce qui l’entourait allaient être encore plus nombreuses. Les chevaux guides d’aveugles sont plutôt inhabituels, mais pas inconnus, et Monique Van den Abbeel a rencontré Dinky à plusieurs reprises lorsqu’il était entraîné pour l’accompagner.

Monique pose avec son cheval Dinky
Monique et Dinky.

Afin de lui trouver une solution, Katrien De Graeve et son équipe Microsoft ont utilisé l’application pour smartphone Seeing AI, sortie en 2017 et conçue pour aider les personnes aveugles ou souffrant de troubles oculaires en décrivant les personnes, les objets et les textes qui les entourent.

« Avec Saqib Shaikh, l’un des créateurs de Seeing AI, nous avons évoqué des idées pour aider Monique et la façon dont les concepteurs de Seeing AI pourraient adapter ses fondations en vue de mettre sur pied un prototype spécialement conçu pour elle », a écrit Katrien De Graeve dans un article sur LinkedIn. « Sans cette structure de base, rien n’aurait été possible ! »

Les collègues de Katrien De Graeve, qui ont participé à un hackathon Microsoft sur le campus de Redmond en avril 2018, ont également apporté leur pierre à l’édifice. Parmi eux se trouvait Wesley Backelant, un architecte de solutions cloud expérimenté dans l’analyse de données de pointe et l’intelligence artificielle.

« Quand j’ai découvert le projet pour la première fois, j’ai tout de suite su que l’intelligence artificielle pourrait être un allié de taille en vue d’améliorer la vie de ces personnes. En sachant que notre solution pourrait avoir un impact concret sur le quotidien de Monique Van den Abbeel, je n’ai pas hésité une seconde à rejoindre l’équipe. »

Le système mis au point par l’équipe est doté d’une fonctionnalité de « machine learning » supplémentaire afin que la caméra puisse reconnaître 1 500 objets en temps réel et hors connexion. Il peut même distinguer les véhicules comme les voitures ou les camionnettes et les énoncer tout haut pour que Monique Van den Abbeel choisisse ses cibles à photographier. De plus, lorsqu’elle prend des photos horizontales, si le cadre n’est pas droit, le téléphone vibre pour le lui faire savoir et il l’avertit si la personne dont elle tire le portrait est trop proche afin qu’elle recommence sa prise. Ces solutions, pensées précisément pour Monique Van den Abbeel, n’ont pas encore été commercialisées. À l’aide d’un modèle de « machine learning », les inventeurs ont également ajouté la reconnaissance faciale à Seeing AI pour lui fournir une reconnaissance en temps réel de Dinky. En testant l’application, Monique a dirigé son smartphone vers Dinky et a entendu : « Dinky est à gauche » du cadre. Un autre son, déjà présent dans Seeing AI, la prévient si la lumière est insuffisante pour prendre une photo. « Je ne verrai plus jamais de mes propres yeux, mais c’est comme si j’observais le monde sous un nouveau regard », confie-t-elle.

Wouter

Wouter De Brandt est né de deux parents ingénieurs électriciens. Comme eux, Wouter est intelligent et adore apprendre. Cependant, il a du mal à lire les lettres et les mots en raison d’un trouble neurovisuel. « Il est un peu plus habile avec les nombres », explique sa mère Sofie Huys. En effet, « il n’existe qu’une suite de 1 à 9 et c’est assez simple de voir si 1, 2 et 3 sont écrits séparément ou ensemble », ajoute-t-elle. Par contre, s’il faut lire chaque caractère séparément, « cela demande énormément de temps et de concentration pour les plus longs mots et une fois arrivé au bout, vous avez oublié le début ». Le champ de vision limité de Wouter De Brandt lui donne également du fil à retordre lorsqu’il souhaite se balader à vélo tout seul.

Pendant la semaine, le garçon se rend dans une école située loin de la maison familiale. Lorsqu’il revient pour le week-end, il aime regarder des films et des émissions en anglais sous-titrées en néerlandais avec sa mère, son père Pascal De Brandt et son frère Arno. Un grand classique de la famille est « The Big Bang Theory », une série américaine très appréciée depuis de nombreuses années mettant en scène de jeunes physiciens et leurs amis. Toutefois, Wouter ne comprend pas l’anglais et n’arrive pas à lire les sous-titres néerlandais en raison de sa déficience. Lorsqu’ils ont entendu parler de « Team Scheire », ses parents ont aussitôt envoyé leur demande pour y participer « vu que nous sommes perpétuellement à la recherche d’outils qui pourraient faciliter la vie de notre fils », confie Sofie Huys.

Katrien De Graeve a fait appel à l’intelligence artificielle en combinant la reconnaissance optique de caractères pour les sous-titres néerlandais et la synthèse vocale pour lire tout haut ces derniers. Wouter a utilisé un Surface Laptop équipé de cette solution et a porté un casque à conduction osseuse (plutôt qu’un casque acoustique) afin d’entendre les dialogues avec la musique et les effets sonores provenant de l’écran. Le jeune garçon n’a pas été très impressionné par un des premiers prototypes qui n’a pas tout à fait tenu ses promesses. Il l’a délaissé, un peu comme lorsque les adolescents disent que quelque chose ne les intéresse pas alors que c’est tout le contraire.

« Il avait de l’espoir, mais il s’est rendu compte que ce ne serait pas facile de trouver une solution et pour éviter d’être déçu, il a revu ses attentes à la baisse », raconte sa maman.

Katrien De Graeve en a également éprouvé une certaine frustration. « J’étais assez stressée et je ne trouvais pas de solution », livre-t-elle, sans pour autant vouloir abandonner. Après des mois de recherches et avec l’aide de ses collègues, Katrien a mis au point une application plus perfectionnée pour Wouter De Brandt (le logiciel de l’application est publié sous la forme d’un exemple de code, accessible à tous sur GitHub). Le garçon a été « surpris et très content. Le système fonctionnait encore mieux qu’il ne l’espérait », confie Sofie Huys. Il a passé énormément de temps à rattraper son retard dans « The Big Bang Theory ». Qu’en a-t-il pensé ? Sa maman explique :

« Nous adorons tous cette série, alors on se disait qu’elle allait également plaire à Wouter. Malheureusement, il n’en raffole pas. Néanmoins, il sait à présent qu’il ne l’aime pas et n’est plus frustré parce qu’il a l’impression de passer à côté de plein de choses. »

Elle ajoute que la famille « ne se sent plus coupable de regarder un film en anglais, car maintenant il peut choisir de le regarder ou non ». « Il ne se joint pas toujours à nous. À présent il peut décider alors qu’avant ce n’était pas le cas. »

« Wouter peut dorénavant discuter avec ses amis à l’école de ce qu’il a regardé et de ce qu’il apprécie ou pas », souligne Katrien De Graeve. « Avant, il se sentait exclu lors de ces conversations, car il répondait toujours qu’il n’avait pas regardé ou qu’il ne connaissait pas le film ou l’émission dont il était question. À présent, il veut simplement être comme tout le monde et je pense l’avoir aidé dans ce sens, c’est vraiment incroyable. »

Wouter regarde la TV

 

Nick Trogh, ingénieur logiciel Microsoft en Belgique, est l’un des membres de l’équipe qui a travaillé sur les projets de Wouter De Brandt et de Monique Van den Abbeel. Il a mis au point la fonctionnalité de détection d’objet de l’application de Monique Van den Abbeel, ce qui « lui a permis d’entendre en temps réel quels objets figuraient dans le cadre de son appareil et où ils étaient situés », par exemple « en haut à gauche » ou « en bas à droite ». Grâce à son expérience en intelligence artificielle et en technologie de vision par ordinateur, Nick Trogh a pu orienter Katrien De Graeve « sur la façon d’optimiser le processus de reconnaissance de sous-titres d’une télévision » pour aider Wouter De Brandt. « C’était un véritable honneur de prendre part à ces projets, tout en sachant que quelques lignes de codes pourraient apporter une amélioration considérable à la vie de ces personnes », raconte-t-il.

La première saison de « Team Scheire » est terminée, contrairement au travail de Katrien De Graeve. Elle poursuit ses recherches pour Wouter De Brandt et perfectionne son application afin qu’elle soit plus facile à utiliser dans les salles de cinéma. Elle est également devenue très amie avec Monique Van den Abbeel et elles vont parfois au cinéma ensemble. « Elle m’inspire tellement », confie Katrien De Graeve. L’experte technique, à l’aise avec la technologie, mais pas nécessairement avec le contact humain, est ressortie grandie de ces deux expériences. D’après elle, l’élément qu’elle avait sous-estimé était l’impact que Wouter De Brandt et Monique Van den Abbeel allaient avoir sur sa vie. « J’ai également beaucoup évolué », dit-elle. « Je suis toujours très émue quand je pense à eux. J’ai vraiment envie qu’ils se sentent intégrés dans la société et n’aient pas l’impression d’être mis de côté. »

L'équipe Microsoft qui a travaillé au projet. En bas à gauche, Nick Trogh, au milieu Katrien de Graeve et en haut à droite Wesley Backelant.
L’équipe Microsoft qui a travaillé au projet. En bas à gauche, Nick Trogh, au milieu Katrien de Graeve et en haut à droite Wesley Backelant.

Tags: , , , , , , , ,