De laatste keer dat ze haar familie, haar dieren en haar geliefde bloemen kon zien, was ze 11. Monique Van den Abbeel heeft aangeboren glaucoom dat schade aan de oogzenuw veroorzaakt. Op vierjarige leeftijd werd ze blind aan haar rechteroog. Zeven jaar later verloor ze het zicht in haar linkeroog. Herhaalde operaties door de jaren heen mochten niet baten voor het meisje uit Brugge in België. De visuele herinneringen aan haar favoriete mensen en dingen zullen haar altijd bijblijven, maar ze beginnen te vervagen. Ze is nu 43 en nog net zo ondernemend, eigenzinnig en onafhankelijk als toen ze klein was. Ze zou dolgraag met haar smartphone foto’s willen maken van alles wat haar als kind gelukkig maakte en nog steeds gelukkig maakt. “Om mijn herinneringen aan te wakkeren en levend te houden”, zoals ze zelf zegt.
In Lokeren, op ongeveer een uur afstand van Brugge, woont een actieve jongen van 17. Hij is dol op zwemmen, luistert veel naar audioboeken, en kijkt graag films en series op tv of internet met het gezin als hij thuis is in de weekenden. In België zijn de meeste gestreamde films en series in het Engels met Nederlandse ondertitels. Hoewel Wouter De Brandt Nederlandstalig is, kan hij de ondertitels slecht lezen. Hij heeft cerebrale visuele inperking (CVI) als gevolg van hersenletsel vlak voor of tijdens de geboorte. Als hij probeert te lezen, wordt hij misselijk, duizelig en gedesoriënteerd. Hij wil de films die het gezin kijkt, graag in het Nederlands horen.
Monique en Wouter kennen elkaar niet, hoewel men in het kleine land van zo’n 145 km breed en 280 km lang vaak zegt dat ‘iedereen iedereen kent’. Maar hun dromen, mooie foto’s maken voor Monique en ondertitels begrijpen bij films die hij met het gezin kijkt voor Wouter, werden waargemaakt door een en hetzelfde team. Dit team begreep niet alleen hun frustratie, maar was vastbesloten om ze te helpen.
Een van de teamleden was Katrien De Graeve. Deze grotendeels autodidactische programmeur en webontwikkelaar heeft veel ervaring met technologie, maar niet met schijnwerpers. Katrien is geboren in Frankrijk en woont in België, waar ze voor bedrijven werkt die e-commerce sites en webapplicaties ontwikkelen. In 2008 kwam ze in dienst bij Microsoft België, waar ze de afgelopen 11 jaar allerlei functies heeft gehad, van Developer Evangelist tot haar huidige functie als Internet of Things-architect bij het Azure Global Black Belt-team van cloudarchitecten dat samenwerkt met klanten. Een jaar geleden werd Katrien gevraagd om mee te doen aan een nieuw programma voor de Belgische televisie: Team Scheire. Dit programma heeft dezelfde opzet als de documentaireserie ‘The Big Life Fix’ van de BBC, waar uitvinders technische oplossingen bedenken voor mensen met speciale behoeften. (In de BBC-serie werd het werk van Microsoft-onderzoeker Haiyan Zhang belicht. Zij ontwikkelde een horloge dat de trillingen in de handen van grafisch ontwerper Emma Lawton, die Parkinson heeft, tijdelijk kan kortsluiten.)
Katrien reageerde enthousiast, hoewel ze aanvankelijk moeite had met het vooruitzicht dat alles werd gefilmd, van haar brainstormsessies met Microsoft-collega’s tot haar ontmoetingen met Monique en Wouter tijdens de projecten en haar eigen nachtelijke activiteiten terwijl ze aan de problemen werkte. Dit lag ver buiten haar comfortzone, wat ook een rol speelde bij haar beslissing om mee te doen. “Ik had nooit gedacht dat ik voor zoiets zou worden gevraagd”, zegt ze.
Technologie- en wetenschapsjournalist Lieven Scheire en zijn team selecteerden 16 mensen uit de honderden hulpaanvragen die ‘Team Scheire’ ontving voor het eerste seizoen van het tv-programma vorig jaar. “Van alle problemen was het probleem van Monique onze ‘moonshot-case’, zegt Lieven. Hij herinnert zich een sessie waarin de makers van het programma bij elkaar kwamen om een selectie te maken.
“We hebben iemand die blind is en zelf foto’s wil nemen zonder de hulp van iemand anders. We keken elkaar aan en iedereen dacht hetzelfde. We begrepen de behoefte heel goed, maar hadden geen flauw idee hoe we dat voor elkaar konden krijgen. Hoe help je iemand met een visuele beperking om zelf foto’s te nemen?”
Katrien was ervan overtuigd dat ze samen met haar collega’s een oplossing kon vinden. Ze was ook vastbesloten om Wouter te helpen. Ze zag in hem een jongeman die niet alleen graag tv met het gezin wilde kijken, maar ook over de nieuwste series en films wilde meepraten met vrienden op school, zoals elke tiener.
Monique
Als je met Monique Van den Abbeel praat, merk je meteen hoe sociaal en bezield ze is, met haar diepe lach en levendige stem. Ze is een social media diva op Instagram en Facebook en heeft een eigen YouTube-kanaal. Ze heeft ook een eigen website waarop ze onder meer haar autobiografie uit 2016 promoot: ‘Graag Zien! Blinde mama, Sterke vrouw.’ Monique is de alleenstaande moeder van een tienerzoon en de eerste persoon in België die een blindengeleidepaard zal krijgen, een minipaardje. Haar zoon Robin zegt, toen hem werd gevraagd of de moeders van zijn vrienden ook zo actief online zijn als zijn moeder: “Nee! Niemand!’. Hij bewondert haar energie en doorzettingsvermogen, haar gedrevenheid om verbonden te blijven met de wereld om haar heen. Monique geeft regelmatig lezingen over leven met een visuele beperking, en zingen, dansen en acteren zijn haar passies.
Monique heeft vanaf Robins geboorte zelf foto’s van hem gemaakt. Ze gebruikt zijn fysieke nabijheid en zijn stem om te bepalen hoe en waar ze een foto kan nemen. Op dezelfde manier maakt ze foto’s met haar smartphone. Robin helpt zijn moeder achteraf met het uitkiezen van de beste foto’s en plaatst die online voor haar. Maar Monique wil meer doen dan alleen plaatjes schieten. Ze wil heel graag weten wat ze fotografeert, of het onderwerp van de foto scherp is en in het midden staat. En ze weet nu al dat ze nog veel meer foto’s zal nemen als het minipaardje Dinky volgend jaar haar geleidedier wordt. Geleidepaarden zijn ongebruikelijk, maar Monique heeft al diverse ontmoetingen gehad met Dinky, die nu wordt getraind om haar te begeleiden.
Katrien wilde Monique graag helpen en nam contact op met het Microsoft-team achter de smartphone-app Seeing AI uit 2017. Deze app helpt blinde of slechtziende mensen door te omschrijven wat er in hun omgeving te zien is.
“Ik heb samen met Saqib Shaikh, een van de mensen achter Seeing AI, allerlei ideeën voor Monique besproken en de mogelijkheid onderzocht om Seeing AI te gebruiken als basis voor een speciaal prototype voor Monique”, schreef Katrien in een LinkedIn-artikel. “Zonder deze basis hadden we niet veel kunnen doen!”
Ook een aantal collega’s van Katrien die hadden meegedaan aan een Microsoft-hackathon op de Redmond-campus in april 2018, schoten te hulp. Een van hen was Wesley Backelant, een Cloud Solution Architect gespecialiseerd in Advanced Analytics en kunstmatige intelligentie.
“Toen ik voor het eerst over dit project hoorde, wist ik meteen dat AI een belangrijke rol kon spelen om de levens van mensen te veranderen”, aldus Wesley. “Ik besefte dat onze oplossing grote invloed kon hebben op het dagelijkse leven van Monique en besloot onmiddellijk om mijn hulp aan te bieden.”
In de oplossing voor Monique werd extra Machine Learning ingebouwd, zodat de camera realtime en offline 1500 objecten kan herkennen en zelfs onderscheid kan maken tussen verschillende voertuigen, zoals auto’s en busjes. De app beschrijft de onderwerpen vervolgens hardop, zodat Monique later zelf haar foto’s kan selecteren. Als Monique een horizontale foto neemt, gaat de telefoon trillen als ze de camera schuin houdt. Daarnaast krijgt ze een melding als iemand zijn ogen dicht heeft in een foto, zodat ze eventueel een nieuwe foto kan maken. Deze oplossingen, die speciaal voor Monique zijn gemaakt, zijn nog niet algemeen beschikbaar. Met een apart algoritme heeft het team ook gezichtsherkenning toegevoegd aan Seeing AI om Dinky te herkennen. Toen Monique tijdens een test van de app haar smartphone op Dinky richtte, hoorde ze: “Dinky staat links in het kader.” Dan is er nog een geluidssignaal dat aangeeft of er genoeg omgevingslicht is om een foto te nemen, een functie die ook is ingebouwd in Seeing AI. “Mijn ogen zullen nooit meer zien, maar ik kan nu op een andere manier kijken”, zegt Monique.
Wouter
Wouter De Brandt is de zoon van twee elektrotechnisch ingenieurs. Net als zijn ouders is hij intelligent en dol op leren. Maar door zijn cerebrale visuele inperking is het lezen van letters en woorden letterlijk een pijnlijke ervaring. “Met getallen heeft hij minder moeite”, legt zijn moeder Sofie Huys uit. “Bij getallen heb je alleen de cijfers 1 tot en met 9 en maakt het niet veel uit of je 1, 2, 3 apart leest of meteen 123 ziet”, zegt ze. “Bij woorden is dat anders. Als je de letters één voor één moet lezen, kosten langere woorden veel tijd en inspanning. En bij het eind van het woord ben je het begin vaak al vergeten.” Ook fietsen en wandelen zijn een hele toer door zijn beperkte gezichtsveld.
Door de week gaat Wouter naar een school ver van huis. In de weekenden is hij thuis en kijkt hij graag Engels gesproken films en series met Nederlandse ondertitels, samen met zijn moeder Sofie, zijn vader Pascal en zijn broer Arno. Het favoriete tv-programma van het gezin is ‘The Big Bang Theory’, een populaire Amerikaanse comedyserie over jonge wetenschappers en hun vrienden. Maar Wouter verstaat geen Engels en kan de Nederlandse ondertitels niet lezen door zijn beperking. Toen zijn ouders hoorden over ‘Team Scheire’, stuurden ze onmiddellijk een aanvraag in. “Omdat we constant zoeken naar hulpmiddelen om Wouters leven makkelijker te maken”, zegt Sofie.
Katrien combineerde AI in de vorm van optische tekenherkenning voor de Nederlandse ondertitels met tekst-naar-spraak om de ondertitels te laten voorlezen. Wouter gebruikt een Surface-laptop met deze oplossing. Daarnaast gebruikt hij een ‘bone-conducting’ koptelefoon (in plaats van een akoestische headset) om de dialoog te horen zonder de muziek en geluidseffecten van de tv te moeten missen. De tiener was niet onder de indruk van het eerste prototype, dat geen succes was. Hij haalde zijn schouders op en deed alsof het hem onverschillig liet, terwijl het heel belangrijk voor hem was.
“Hij hoopte dat ze een oplossing zouden vinden, maar wist ook dat dit niet eenvoudig zou zijn. Uit zelfbescherming verwachtte hij er daarom niet al te veel van”, zegt Sofie.
Katrien voelde zich ook gefrustreerd. “Ik was behoorlijk gestrest en wist niet goed hoe ik dit kon oplossen”, zegt Katrien, die de tiener niet wilde teleurstellen. Na maanden werk en met de hulp van collega’s ontwikkelde Katrien een verbeterde versie van de app voor Wouter. De software van de app is gepubliceerd als voorbeeldcode, die voor iedereen beschikbaar is op GitHub. “Wouter was compleet verrast en dolblij”, zegt zijn moeder. “De app werkte veel beter dan hij had verwacht.” Hij is druk bezig om alle afleveringen van ‘The Big Bang Theory’ in te halen. Wat vind hij ervan? Ach.
“We kijken allemaal graag naar ‘The Big Bang Theory’, dus we dachten dat Wouter dit ook leuk zou vinden”, zegt Sofie. “Helaas vindt hij er niet veel aan. Maar nu weet hij in elk geval dat hij de serie niet leuk vindt. Hij dacht altijd dat hij een heleboel miste doordat hij niet begreep waarover de serie ging.”
Het gezin voelt zich niet meer schuldig als ze een Engelse film kijken. “Hij kan nu kiezen of hij wil meekijken of niet”, zegt ze. “Hij kijkt niet altijd mee, maar dat kan hij nu zelf beslissen. Vroeger had hij geen keuze.”
“Hij kan nu ook meepraten met zijn vrienden op school en zeggen dat hij iets ook heeft gezien en niet leuk vond of heel goed vond”, zegt Katrien. “Als zijn vrienden vroeger vertelden over een film of serie, zei hij dat hij die niet had gezien en niet wist waarover ze het hadden. Hij voelde zich altijd buitengesloten Nu kan hij gewoon meedoen. Hij wil graag een normaal leven leiden, net als iedereen, en ik denk dat ik hem hierbij een beetje heb kunnen helpen. Dat is heel bijzonder.”
Nick Trogh, een softwareontwikkelaar bij Microsoft België, was een van de teamleden die meewerkte aan de projecten voor Wouter en Monique. Hij ontwikkelde de functionaliteit voor objectdetectie van de app voor Monique. Hiermee kan ze in realtime horen wat er in het kader van de camera te zien is en waar, bijvoorbeeld ‘links bovenin’, ‘middenin’ of ‘rechts onderin’. Dankzij zijn ruime ervaring met AI en Computer Vision-technologie kon hij Katrien ook helpen om de herkenning van ondertitels op een tv te optimaliseren.
“Het was echt een hele eer om te mogen meewerken aan deze projecten, in de wetenschap dat een paar regels code zo’n enorm verschil kunnen maken in iemands leven”
Het eerste seizoen van ‘Team Scheire’ is afgelopen, maar Katriens werk zit er nog niet op. Ze heeft nog regelmatig contact met Wouter om zijn app te verfijnen, zodat hij die makkelijker kan gebruiken in de bioscoop. Ze is ook goede vrienden met Monique geworden en gaat zo nu en dan samen met haar naar het theater. “Ze inspireert me enorm”, zegt Katrien. De softwarespecialist, die veel ervaring met technologie maar niet met schijnwerpers heeft, heeft een heleboel dingen goed ingeschat voor beide projecten. Wat ze volgens eigen zeggen heeft onderschat, is de impact die Wouter en Monique hebben op haar eigen leven. “Het is voor mij ook een hele evolutie”, aldus Katrien. “Ik raak nog steeds geëmotioneerd als ik aan ze denk. Ik wil gewoon graag dat ze deel uitmaken van een gemeenschap en zich niet buitengesloten voelen.”
