Zum Hauptinhalt springen
Alle Infos zu COVID-19 - so unterstützt Microsoft
Zu Hauptinhalt springen
News Center
Frau mit Smartphone in der Hand

Sie wollte fotografieren. Er wollte englischsprachige Filme verstehen. Wie KI den beiden geholfen hat

Gesundheit ist ein wichtiger Bereich, in dem Künstliche Intelligenz (KI) neue Möglichkeiten schaffen kann. Eine belgische Fernsehshow hat Menschen mit Wünschen an KI und Problemlösern vernetzt. Die Ergebnisse zeigen, wie Technologie das Leben von zwei jungen Menschen verändern konnte.

Monique Van den Abbeel war 11 Jahre alt, als sie ihre Familie, ihre Tiere und ihre geliebten Blumen zum letzten Mal gesehen hat. Sie wurde mit einem kongenitalen Glaukom geboren, das zu einer Schädigung ihrer Sehnerven führte. Die Krankheit ist auch als Grüner Star bekannt. Ihr rechtes Auge erblindete, als sie vier war. Sieben Jahre später erblindete auch ihr linkes Auge. Selbst mehrere Operationen konnten dem Mädchen aus dem belgischen Brügge nicht helfen.

Die visuellen Erinnerungen an ihre Lieblingspersonen und Gegenstände sind geblieben, verblassen aber mit der Zeit. Schon als Kind war sie mutig, kühn und eigenständig. Jetzt, mit 43 Jahren, sehnt sie sich danach, mit ihrem Smartphone Fotos von all den Dinge zu machen, die ihre Freunde unternehmen, um damit ihre „Erinnerungen wachzurufen und festzuhalten”.

In Lokeren, einer Stadt, die rund eine Fahrstunde von Brügge entfernt liegt, lebt ein 17 Jahre alter Junge, der gerne schwimmt, Audiobücher hört und am Wochenende, wenn er aus der Schule nach Hause kommt, mit seiner Familie Filme oder TV-Serien sieht.

In Belgien werden viele gestreamte Filme und TV-Shows auf Englisch mit niederländischen Untertiteln gezeigt. Obwohl Wouter De Brandt niederländisch spricht, hat er wegen einer zerebralen Sehstörung mit dem Lesen Probleme. Sein Gehirn wurde vor und während seiner Geburt geschädigt. Sobald er liest, wird ihm übel und schwindelig, er verliert die Orientierung. Wouter wünschte sich, dass er die Filme, die seine Familie sieht, auf Niederländisch hören kann.

Neue Technologie verbindet Menschen und schenkt Hoffnung

Monique und Wouter kennen sich nicht, obwohl Belgier ja gerne sagen, dass in ihrem kleinen Land, das nur rund 145 Kilometer breit und 282 Kilometer lang ist, fast jeder jeden kennt. Ihre Hoffnungen – Moniques Wunsch, zu fotografieren und Wouters Wunsch, die Gespräche der Filme zu verstehen – wurden jedoch von einem Team gemeinsam erfüllt.

Das Team hat nicht nur ihre Frustrationen verstanden, sondern war auch fest entschlossen, beiden zu helfen. Zu diesem Team gehörte Katrien De Graeve. Sie ist eine autodidaktisch gebildete Programmiererin und Webentwicklerin und arbeitet seit 2008 für Microsoft Belgien.

Vor einem Jahr wurde Katrien eigeladen, als eine von acht Teilnehmern an einer neuen Fernsehshow namens „Team Scheire” mitzuwirken. Dieses belgische Fernsehprogramm ähnelt der Dokumentarserie „Big Life Fix” der BBC, in der Erfinder Technologielösungen für Menschen mit speziellen Bedürfnissen entwickeln. In der BBC-Serie wurde bereits die Arbeit der Microsoft-Forscherin Haiyan Zhang vorgestellt, die eine Uhr entwickelt hat, die das Zittern der Hand der an Parkinson erkrankten Grafikdesignerin Emma Lawton vorübergehend unterdrücken kann.

Katrien De Graeve sitzt auf einer roten Bank
Microsoft’s Katrien De Graeve, Azure IoT Technical Professional  (Fotografiert von Scott Eklund/Red Box Pictures)

„Ich hätte nie gedacht, dass so etwas passieren könnte”

Das sagt Katrien, wenn sie an das Projekt zurückdenkt. Hunderte von Anfragen wurden vor der ersten Staffel von „Team Scheire” von den Zuschauern eingereicht. Moderator und Technologie- und Wissenschaftsjournalist Lieven Scheire hat mit seinem Team 16 Wünsche ausgewählt. Die Erfinder, zu denen auch Katrien gehört, sollten nach Möglichkeiten suchen, um jeweils zwei Personen zu helfen. „Unter all diesen Problemen war das von Monique unser Mondflugproblem”, erklärt Scheire.

Er erinnert sich an eine der ersten Sitzungen, in der die Mitarbeiter der Show darüber sprachen. „Wir hatten eine blinde Person, die ohne irgendwelche Hilfe von anderen selbst fotografieren wollte”, sagt er. „Alle schauten sich an und dachten, dass der Wunsch klar ist, dass sie dafür aber nicht mal den Ansatz einer Lösung sehen. Wie kann man einem Blinden helfen, Fotos zu machen?”

Katrien war außerdem fest entschlossen auch Wouter zu helfen. Sie sah in ihm einen jungen Mann, der nicht nur gemeinsam mit seiner Familie Filme sehen will, sondern auch mit seinen Freunden in der Schule über die neusten Fernsehshows und Filme sprechen möchte, wie es Jugendliche eben gerne machen.

Mit der Unterstützung ihrer Kollegen kam Katrien zu dem Schluss, dass es Möglichkeit gibt, beiden zu helfen.

Frau in weißem Kleid steht im Garten mit einem Miniaturpferd
Monique Van den Abbeel mit Miniaturpferd Dinky

Wie Monique ihre eigenen Fotos kennenlernte

Trifft man Monique merkt man an ihrem tiefen Lachen und ihrer Stimme sofort, dass sie ein geselliger, lebhafter Mensch ist. Sie hat eine eigene Website und ist eine Social Media Berühmtheit, die bei Instagram, Facebook und YouTube auftritt. Sie ist alleinerziehende Mutter eines 17 Jahre alten Sohns und hofft, dass sie die erste Belgierin mit einem Blindenpferd sein wird.

Moniques Sohn Robin antwortet auf die Frage, ob andere Mütter seiner Freunde auch online so aktiv sind: „Nein! Keine einzige!” und ist beeindruckt von ihrer Energie und Ausdauer, über ihre Entschlossenheit, mit der Welt in Kontakt zu bleiben. Van den Abbeel hält öffentliche Vorträge über das Leben als Blinde und unterhält andere gerne mit Shows, in denen sie als Comedian, Sängerin und Tänzerin auftritt.

Dinky, das Blindenpferd

Monique fotografiert ihren Sohn seit seiner Geburt. Um eine Vorstellung davon zu bekommen, wie und wo sie ihn fotografiert, nutzt sie seine Nähe und Stimme. Robin hilft anschließend seiner Mutter, die besten Fotos auszuwählen, und postet diese dann online. Sie wollte aber mehr machen, als nur auf den Auslöser drücken. Sie wollte wirklich wissen, was sie da aufnimmt und ob es scharf eingestellt oder zentriert ist. Und sie wusste, dass sie noch viel mehr Fotos machen will, wenn nächstes Jahr Dinky, ein 60 Zentimeter großes Miniaturpferd, ihr „Blindenhund” würde.

Um Monique zu helfen, hatte sich Katrien an das Microsoft-Team gewendet, das hinter der Smartphone-App Seeing AI steht. Die App wurde 2017 veröffentlicht und hilft Blinden und Sehbehinderten, indem Personen, Objekte und Texte in der Umgebung beschrieben werden. In einem Beitrag auf LinkedIn beschreibt Katrien ihr Vorgehen: „Zusammen mit Saqib Shaikh, einem Seeing AI-Mitwirkenden, haben wir über Ideen für Monique gesprochen und welche Möglichkeiten es gibt, die Grundlagen von Seeing AI zu nutzen, um einen Prototyp speziell für Monique zu entwickeln.“ Sie ist sich sicher, „ohne diese Grundlage wäre gar nichts möglich gewesen!”

Weitere Unterstützung lieferten Kollegen von Katrien, die im April 2018 an einem Microsoft Hackathon auf dem Redmond Campus teilnahmen. Dort kamen Mitarbeiter aus vielen verschiedenen Abteilungen zusammen und arbeiteten gemeinsam an der Umsetzung verschiedener Projekte. Das Team von Katrien hat maschinelles Lernen in die App integriert, damit die Kamera in Echtzeit eine Offline-Erkennung von 1.500 Objekten durchführen kann. Es wird sogar zwischen Fahrzeugen wie „Auto“ und „Minibus“ unterschieden und die Objekte entsprechend benannt. So wird Monique bei der Auswahl ihrer eigenen Fotos unterstützt.

KI ermöglicht eine neue Art des Fotografierens

Außerdem vibriert das Smartphone, wenn Monique horizontale Aufnahmen macht und das Gerät schief hält. Wenn jemand auf einem Foto die Augen geschlossen hatte, bekommt sie ebenfalls einen Hinweis. So kann sie gegebenenfalls noch ein neues Foto machen (Diese Lösungen, die für Monique entwickelt wurden, sind noch nicht öffentlich verfügbar).

Die Gesichtserkennungsfunktionen von Seeing AI wurden weiterentwickelt, damit auch das Miniaturpferd von Monique in Echtzeit erkannt wird. Als Monique beim Testen der App ihr Smartphone in Dinkys Richtung hielt, hörte sie: „Dinky befindet sich links im Bild.” Ein weiterer Klang, der bereits in Seeing AI integriert ist, informiert sie, ob das Licht für das Foto ausreicht. „Meine Augen werden nie wieder sehen können. Diese App hat mir aber eine neue Art des Sehens ermöglicht”, meint Monique.

Wouter im Wohnzimmer mit einem Fernseher und Brille
Wouter De Brandt beim Fernsehen

Wie Wouter neu am Familienleben teilhaben konnte

Wouter ist der Sohn zweier Elektrotechniker. Wie seine Eltern ist auch er klug und lernt gerne. Durch seine zerebrale Sehstörung wird für ihn das Lesen von Buchstaben und Wörtern jedoch zur echten Qual. Zahlen fallen ihm etwas leichter, erklärt seine Mutter Sofie Huys: „Zahlen reichen nur von 1 bis 9 und es macht keinen großen Unterschied, ob man 1, 2, 3 nacheinander liest oder sofort 123 sieht”, erklärt sie. Wenn man aber jeden Buchstaben einzeln lesen muss, dann „dauert es bei längeren Wörtern und ist anstrengend. Wenn man das Ende erreicht hat, hat man den Anfang wieder vergessen”.

Am Wochenende schaut die Familie gerne zusammen Fernsehen oder Filme. Das Programm ist meist englischsprachig mit niederländischen Untertiteln. Wouter spricht jedoch kein Englisch und kann aufgrund seiner Behinderung die niederländischen Untertitel nicht lesen. Als sie von „Team Scheire” hörten, haben sich seine Eltern sofort beworben, „weil wir ständig nach Hilfsmitteln suchen, die Wouters Leben erleichtern”, erzählt seine Mutter Sofie.

KI ermöglicht eine neue Form des Fernsehens

Katrien hat für Wouter ein Surface Laptop mit KI-Lösung entwickelt. Die Anwendung kombiniert die optische Zeichenerkennung für die niederländischen Untertitel mit einer Funktion, die Text in Sprache umwandelt und so die Untertitel vorlesen kann. Wouter benutzt dafür ein Headset mit Knochenleitung (im Gegensatz zu einem akustischen Headset), mit dem er die Dialoge hören kann. So verpasst er auch keine Musik oder Soundeffekte aus dem Fernsehen.

Headset mit Knochenleitung in der Hand eines Jungen
Headset mit Knochenleitung

Der erste Prototyp beeindruckte Wouter jedoch wenig. Nach monatelanger Arbeit und mit der Hilfe von Kollegen entwickelte Katrien die App für Wouter weiter (die Software für die App ist auf GitHub als Beispielcode veröffentlicht und frei verfügbar). Mit Erfolg, „er war überrascht und glücklich”, verrät seine Mutter. „Es funktionierte viel besser als er erwartet hatte.” Das sorgte für viel Freude in der Familie. Er hat viel Zeit damit verbracht, Episoden von „The Big Bang Theory” nachzuholen. Und was hat er danach gesagt? Langweilig.

„Wir alle lieben „The Big Bang Theory” und sind davon ausgegangen, dass die Serie Wouter genauso gefallen würde”, sagt seine Mutter Sofie. „Leider ist es so gar nicht sein Ding. Aber jetzt weiß er zumindest, dass er sie nicht mag. Vorher dachte er, dass er viel verpasst, weil er nicht wissen konnte, worum es geht.” „Wir fühlen uns als Familie nicht mehr schuldig, wenn wir uns einen englischen Film ansehen. Er kann jetzt nämlich selbst entscheiden, ob er mit uns schauen möchte oder nicht”, sagt sie. „Er ist nicht immer dabei, aber jetzt entscheidet er selbst – vorher hatte er keine Wahl.”

KI verbindet Menschen

Die erste Staffel von „Team Scheire” ist vorbei, Katriens Ergebnisse leben aber weiter. Sie arbeitet mit Wouter zusammen, um seine App zu optimieren, zum Beispiel damit er sie im Kino leichter nutzen kann. Auch Monique und Katriens sind gute Freundinnen geworden. Die beiden gehen hin und wieder zusammen ins Theater. „Ich bin von ihr so begeistert”, sagt Katrien.

Wouter und Mutter Sofie sitzen draußen
Wouter De Brandt mit Mutter Sofie Huys

Die Technikexpertin hat bei beiden Projekten vieles richtig vorhergesehen. Was sie aber unterschätzt hatte, ist die Auswirkungen, die Monique und Wouter auf ihr Leben haben. Katrien erklärt:

„Auch für mich war dies ein Entwicklungsprozess. Ich bin immer noch sehr bewegt, wenn ich an die beiden denke. Ich möchte, dass sie sich wirklich als Teil einer Gemeinschaft fühlen und nicht als Ausgeschlossene.”

Die belgische Fernsehshow hat Wünsche an die Zukunft mit Technik-Experten verbunden. Gemeinsam konnten so Träume Wirklichkeit und das Leben von zwei Menschen mit Sehkrankheiten verändert werden.

Mit der Kampagne „Make Your Wish“ haben wir Ende 2018 selbst dazu aufgerufen, Ideen für eine gemeinsame Zukunft einzureichen, bei der KI sinnvoll unterstützt. Hier sind die Wünsche, die unsere Jury am Ende am meisten überzeugt haben:

DIE BESTEN IDEEN MIT KI