Inklusion bedeutet, dass jeder Mensch miteinbezogen wird. Mit dem Forschungsprojekt „Projekt Tokyo“ zeigt Microsoft, wie intelligente Technologien mehr Teilhabe ermöglichen, indem sie menschliche Fähigkeiten gezielt erweitern.
KI hilft Menschen mit Sehschwäche bei der Orientierung
Ein Pilotprojekt demonstriert, wie das aussehen kann: Über den Einsatz von künstlicher Intelligenz in Kombination mit einer modifizierten HoloLens wird es Menschen mit Sehbehinderung ermöglicht, sich besser in einem Raum zu orientieren und bekannte Gesichter zu finden. Als einer der ersten Menschen hat es der zwölfjährige Theo im Dezember des vergangenen Jahres ausprobieren können. Er trägt ein Stirnband, in dem Kameras, Sensoren und Lautsprecher untergebracht sind. Theo dreht seinen Kopf nach links und rechts, bis er durch die Lautsprecher den Namen „Martin“ hört. Die Kamera hat einen Mann aus einer Menge von Menschen erfasst und erkannt. „Martin“, das ist Martin Grayson, ein leitender Ingenieur für Softwareentwicklung im Forschungslabor von Microsoft in Cambridge. Innerhalb von fünf Sekunden hat Theo ihn geortet.
Was Theo nicht sehen, aber hören kann, ist die Begeisterung seiner Mutter Elin. Als Theo seinen Kopf in ihre Richtung dreht, hört er noch einen weiteren Namen, „Tim“. Auch Tim Regan ist leitender Forschungsingenieur für Softwareentwicklung in dem Microsoft-Labor.
Projekt Tokyo: Inklusion durch künstliche Intelligenz
Theo ist Teil einer Forschungsgemeinschaft bestehend aus Menschen mit Sehbehinderungen, die gemeinsam mit Tim Regan, Martin Grayson sowie der Wissenschaftlerin Cecily Morrison und ihrem Team an einem Projekt zur Entwicklung intelligenter persönlicher Assistenten arbeiten. Theo nutzt seinen persönlichen Assistenten, um zu erkennen, wer sich in seiner unmittelbaren Umgebung befindet – darunter auch Menschen, die gerade nicht sprechen. Das ist Theos persönlicher Ansatz. Das langfristige Ziel und die Vision von Projekt Tokyo ist es, intelligente persönliche Assistenten zu entwickeln, die nicht nur vordefinierte Aufgaben lösen können, sondern die Fähigkeiten von Menschen ganz natürlich und barrierefrei erweitern. Also Systeme, die sich künftig ganz gezielt an den Menschen und ihren spezifischen Bedürfnissen orientieren und dabei selbstständig lernen.
Entstanden ist Projekt Tokyo im Rahmen der Paralympischen Spiele 2016 in Brasilien. Cecily Morrison und ihr Team begleiteten zunächst eine Gruppe von Athletinnen und Athleten mit Sehbehinderung auf ihrer Reise von England nach Rio de Janeiro. Dabei lernten sie von der Art und Weise, wie die Teilnehmenden mit ihren Mitmenschen interagierten. Unter anderem bei der Orientierung an Flughäfen, beim Besuch von Sportstätten und Besichtigen von Sehenswürdigkeiten. Mit diesen Erkenntnissen sind die Wissenschaftlerinnen und Wissenschaftler dann in eine Reihe von Workshops gegangen, in denen Technologien entwickelt und ausprobiert wurden, die fehlende Sinneseindrücke ersetzen sollen.
Eine modifizierte HoloLens dient als KI-Hardware
Nachdem die Forschenden des Projekt Tokyos verstanden hatten, welche Art von Sinneseindrücken sie mit künstlicher Intelligenz erweitern wollten, begannen sie konkrete Technologien dafür zu entwickeln. Dazu nutzten sie als Basis Microsoft HoloLens, eine Mixed-Reality-Brille, mit der sich Hologramme in die reale Welt projizieren lassen. Die Wissenschaftlerinnen und Wissenschaftler verwendeten unter anderem die Graustufenkamera des Geräts, um die Umgebung zu scannen, und die hochauflösende Farbkamera, um Gesichter präzise zu erkennen. Zudem setzten sie die Lautsprecher über den Ohren für eine räumliche Tonwiedergabe ein. Schließlich entwickelten sie Algorithmen für die unterschiedlichen Aufgaben, die durch die Technologie übernommen werden sollen, wie das Erkennen von bekannten Personen in der unmittelbaren Umgebung.
Die daraus entstandene Modifikation der Microsoft HoloLens ermöglicht es Theo nun, Personen in seiner Umgebung besser wahrzunehmen. Die Gesichtserkennung wird mit einem Klicken akustisch begleitet, das Identifizieren der Person mit einem weiteren Geräusch sowie der Namensnennung. Hört Theo ein Klicken, kann er – akustisch geführt – den Blick direkt auf die Person richten. Ein zweites, höheres Klicken verrät ihm, dass die Person nun im Fokus der HoloLens ist.
Werkzeug für die Entwicklung sozialer Interaktionsfähigkeit
Projekt Tokyo kann auch dazu beitragen, Kindern mit Sehbehinderungen bei der Entwicklung sozialer Interaktionsfähigkeiten zu helfen. Zwei von drei Kindern, die sehbehindert sind, zeigen Forschungsergebnissen zufolge ein soziales Verhalten, das dem von Kindern mit Autismus ähnelt. So scheinen viele sehbehinderte Kinder beispielsweise keinen Kontakt zu ihren Gesprächspartnern zu haben – sie legen ihren Kopf während eines Gesprächs oft mit freiliegendem Ohr auf einen Tisch. Im Rahmen des Microsoft-Projekts erforschen die Wissenschaftlerinnen und Wissenschaftler deshalb auch, ob sie das System für die soziale Interaktion in Gesprächssituationen verwenden können.
Auch hier half der zwölfjährige Theo zu verstehen, wie Menschen mit Sehbehinderung das System einsetzen können. Theo versuchte zum Beispiel, die HoloLens über Kopfbewegungen dazu zu bringen, ihm die Namen der Personen vorzulesen, mit denen er sich unterhielt. Nach Überzeugung der Forscherinnen und Forscher hilft ihm das nicht nur dabei, sich während des Gesprächs räumlich besser orientieren zu können, sondern auch die Aufmerksamkeit aufrechtzuerhalten. Damit kann Theo gleichzeitig seine soziale Interaktion schulen.
Ob er die HoloLens trägt oder nicht: er dreht seinen Körper und sein Gesicht zu der Person, die er ansprechen möchte. Ob die Veränderung nachhaltig anhält, können die Forscherinnen und Forscher bislang noch nicht beurteilen. Ebenso wenig wie die Auswirkungen dieser Erkenntnisse auf andere Kinder mit Sehbehinderung. Das herauszufinden, wird ein weiterer Teil des Forschungsprojekts sein. Das langfristige Ziel: Einen intelligenten persönlichen Assistenten zu bauen, der nicht von vornherein bestimmte Aufgaben für Menschen mit Behinderungen übernimmt, sondern den Menschen auf beliebige Art und Weise nutzen können. Eben genau so, wie sie es brauchen oder möchten.
Mehr Details zum Projekt Tokyo gibt es außerdem in diesem Blogpost. Bildmaterial zum Projekt finden Sie hier. Interessante Informationen zum Thema inklusives Design gibt es in diesem Podcast mit Cecily Morrison.
Ein Beitrag von Pina Meisel
Communications Manager Artificial Intelligence & Innovation
