Zum Hauptinhalt springen
Zu Hauptinhalt springen
News Center

Seeing AI – die sprechende Kamera

Bonjour! Dag! ¡Bienvenidos! 良い一日! Guten Tag! Seeing AI jetzt in fünf neuen Sprachen verfügbar

Die junge Japanerin Akiko Ishii wollte ihre PC-Kenntnisse verbessern, um eine Bürotätigkeit aufnehmen zu können. Die Experten rieten ab und empfahlen ihr stattdessen, sie solle Massagetherapeutin werden – das sei doch ein guter Beruf für Menschen wie sie. Gemeint waren „Menschen mit Sehbehinderungen“. Doch von diesem Rat wollte Akiko, die nach einer Operation im Alter von 30 Jahren erblindete, nichts wissen und bestand auf der IT-Weiterbildung.

Die Beharrlichkeit zahlte sich aus: zunächst mit einem Job in der Personalabteilung eines IT-Unternehmens in Tokio. Heute führt Akiko mit ihrem Ehemann ein Unternehmen, das Kurse aller Art für blinde und sehbehinderte Menschen anbietet – von Yogakursen bis zu Computerseminaren.

Akiko ist eine vielbeschäftigte Frau. Bei ihrer Arbeit lässt sie sich von Seeing AI unterstützen, einer kostenlosen Microsoft-App für blinde und sehbehinderte Menschen. Für sie ist die App längst zum „Assistenten“ geworden: Seeing AI liest ihr gedruckte Texte vor, sagt, welche Geldscheine sie in den Händen hält, und beschreibt Objekte, Etiketten, Farben oder Lichtverhältnisse in ihrer unmittelbaren Umgebung.

Am 3. Dezember begehen die Vereinten Nationen den Internationalen Tag der Menschen mit Behinderung 2019. Passend dazu veröffentlicht Microsoft Seeing AI nun neben Englisch in fünf weiteren Sprachen: Deutsch, Französisch, Japanisch, Niederländisch und Spanisch. Damit wird Seeing AI, die auf künstlicher Intelligenz basiert, für Millionen von Menschen mit visuellen Einschränkungen rund um den Globus noch leichter zugänglich.

„Jetzt kann ich endlich auch selbst Japanisch lesen“, freut sich Akiko Ishii. „Die App liest mir sogar die Post vor, die ich in Papierform bekomme.“ Für Texte bietet Seeing AI einen Text-Kanal, der alles vorliest, was ihm vor die Kameralinse kommt. Der Dokumenten-Kanal ist dagegen auf gedruckte Texte spezialisiert und verschafft Menschen wie Akiko neue Autonomie: „Bisher musste ich mir gedruckte Texte immer vorlesen lassen, jetzt übernimmt Seeing AI diese Aufgabe.“

Es sind Rückmeldungen wie die von Akiko, die Saqib Shaikh viel bedeuten. Saqib ist ebenfalls blind und leitet bei Microsoft die Entwicklung von Seeing AI.

„Mich berührt, wie Menschen Seeing AI annehmen und in ihren Alltag integrieren“, so Saqib. „Es freut mich riesig zu hören, wie die App in der Praxis funktioniert und Menschen mit Sehbehinderungen das Leben leichter macht.“

Da ist zum Beispiel die E-Mail einer Frau, die mit Seeing AI die handgeschriebenen Briefe ihrer verstorbenen Mutter lesen kann. Oder ein Vater, der mit der Text-Funktion seinem kleinen Sohn jetzt die Informationstafeln im Zoo vorliest. „Mit Seeing AI ist er endlich in der Lage, seinem Sohn zu erklären, wo Affen leben und was sie fressen – wie alle anderen Väter auch.“

Seeing AI wurde 2017 veröffentlicht, zunächst nur in Englisch. Menschen in 70 Ländern haben die KI-gestützte App bereits mehr als 20 Millionen Mal eingesetzt, um ihre unmittelbare Umgebung besser zu erfassen und zu verstehen. Wir haben bei der Entwicklung sehr auf inklusives Design geachtet und dafür den Rat gemeinnütziger Organisationen aus aller Welt eingeholt. Damit die App so inklusiv und einfach wie möglich ist, haben wir sie außerdem von vielen visuell eingeschränkten Menschen testen lassen.

Ein Mann nutzt Seeing AI, um sich den Wert eines Geldscheins vorlesen zu lassen.
Seeing AI erkennt Währungen und liest diese vor

Einer dieser Tester ist Manuel Pereira aus Frankreich, der von Geburt blind ist. Er leitet bei der L’Association Valentin Haüy die Abteilung für digitale Barrierefreiheit. Sie unterstützt Menschen mit Sehbehinderungen zum Beispiel bei der Arbeitssuche. Und obwohl es in Frankreich viele Bestimmungen über die Barrierefreiheit etwa in öffentlichen Gebäuden gibt, existieren nur wenige mobile Anwendungen, die diese Barrierefreiheit unterstützen. Dies ist nur ein weiterer Grund dafür, dass sich Manuel Pereira über die französische Version von Seeing AI so freut.

Für ihn ist die App auch sein persönlicher Werkzeugkoffer. „Seeing AI bietet mir viele hilfreiche Funktionen: Die App kann kurze Texte vorlesen, Dokumente scannen oder die Beleuchtung um mich herum erkennen. Mich beeindruckt Seeing AI vor allem wegen der vielen Tools, die uns im Alltag mehr Selbstständigkeit verschaffen“, sagt er. „Wenn ich zum Beispiel einen Brief bekomme, hilft mir die App schnell und einfach dabei, den Absender zu erkennen. So kann ich mir einen wichtigen Brief sofort vorlesen lassen und weniger wichtige später.“

Ein Mann sitzt in einem Restaurant und lässt sich mit Seeing AI die Speisekarte vorlesen
Seeing AI kann mit dem Textkanal z.B. Speisekarten vorlesen

Der 50-jährige Cristian Sainz hat sein Augenlicht im Alter von 18 Jahren nach einem Autounfall verloren. Heute leitet der Spanier die Abteilung für digitale Arbeitsplätze bei der spanischen Blindenorganisation ONCE. Er freut sich auch als leidenschaftlicher Koch darüber, dass Seeing AI nun in seiner Muttersprache verfügbar ist. So hilft die App dem früheren Restaurantbesitzer etwa dabei, Kochzutaten exakt abzuwiegen. Er hat zwar eine Waage, die das Gewicht vorliest, aber die kleinste Messeinheit, die das Gerät laut vermeldet, beträgt 5 Gramm. „Für manche Rezepte ist das aber zu grob, da muss das Gewicht aufs Gramm genau sein“, sagt Cristian. „Mit Seeing AI ist das kein Problem: Ich halte mein Smartphone mit dem Text-Kanal der App vor das Display der Waage, und Seeing AI liest mir das Gewicht aufs Gramm genau vor.“

Bereits zu einem früheren Zeitpunkt in diesem Jahr haben wir Seeing AI um eine Funktion erweitert, die sich viele Benutzer gewünscht haben: die Möglichkeit, sich den Inhalt von Fotos beschreiben zu lassen – von Familienbildern ebenso wie von Fotos aus Social-Media-Kanälen.

„Mit dieser Funktion kann ich leicht herausfinden, welche Informationen sich in Bildern verbergen“, sagt Cristian. „Ich wische mit dem Finger über das Display, und die App beschreibt mir, welche Objekte sich darauf befinden.“

Dem stimmt Florian Beijers aus den Niederlanden zu. In der Vergangenheit hatten Fotos kaum Bedeutung für den 27-Jährigen, der blind auf die Welt kam. „Jetzt kann ich quasi ,sehen‘, was sich auf einem Bild befindet und in welcher Beziehung die Objekte zueinander stehen“, erläutert er. „Der Computerfreak in mir freut sich über diese Informationen.“

Seine Leidenschaft für Computer führte ihn zum Beruf des Web Developers und damit zu einer Tätigkeit, die Menschen ohne Sehvermögen nicht oft zugetraut wird. Den meisten sei durchaus bewusst, dass blinde Menschen nicht den ganzen Tag zu Hause sitzen und nichts tun, sagt Florian. „Aber ich begegne nach wie vor vielen, die erstaunt darüber sind, dass Menschen, die blind sind, tatsächlich am Computer arbeiten können.“

Er ist überzeugt, dass Seeing AI in seiner Landessprache nun auch den Alltag in einem Land verbessern wird, das bei Barrierefreiheit noch großen Nachholbedarf habe.

So sind zum Beispiel in Restaurants die Speisekarten nur selten barrierefrei. „Oft fehlt eine Online-Version, die man sich auf dem Smartphone vorlesen lassen kann.“ Da ist für Florian besonders der Dokumenten-Kanal von Seeing AI „extrem hilfreich“. Der Kanal bietet Audiounterstützung zur Erfassung gedruckter Texte und erkennt Geschriebenes samt ursprünglicher Formatierung.

Domingos de Oliveira, Experte für digitale Barrierefreiheit, beschreibt die vielfältigen Fähigkeiten von Seeing AI so: „Die App ist wie ein „Schweizer Taschenmesser“.“ Auch Domingos wurde blind geboren. „Mir blieb in meiner Jugend nichts anders übrig, als mich intensiv mit Technologien auseinanderzusetzen. So konnte ich zum Beispiel meine Hausaufgaben nicht von Hand erledigen und auch keine handschriftlichen Briefe verfassen.“ Technologie half ihm schon damals, diese Hürden zu überwinden.

Domingos de Oliveira arbeitet in Deutschland für Aktion Mensch, eine Organisation, die Geld sammelt und Projekte für Kinder und Erwachsene mit Behinderungen unterstützt. „Viele Menschen in Deutschland haben Seeing AI bislang nicht verwendet, weil ihr Englisch nicht gut genug ist, um die App zu verstehen“, sagt er und ist überzeugt, dass die deutsche Version von Seeing AI den Nutzen und die Verbreitung der App noch deutlich steigern wird.

„Die App ist wie ein „Schweizer Taschenmesser“

Akiko Ishii sagt dasselbe für Japan voraus. So sei in Tokio das Bewusstsein für Barrierefreiheit noch recht hoch, aber „außerhalb der Stadt ist es sehr schwierig.“ In ländlichen Regionen werde kaum Technologie verwendet, daher werde Seeing AI als kostenlose App eine enorme Hilfe darstellen. Akiko nutzt regelmäßig den Szene- und Personen-Kanal von Seeing AI, um die Menschen in ihrer direkten Umgebung zu erkennen. So hilft ihr Seeing AI, wenn ihre dreijährige Tochter Ami sie um ein Stück Schokolade bittet. Dann lässt sich Akiko von der App den Barcode der Verpackung vorlesen und weiß so genau, welche Schokolade sie will. „Diese Unabhängigkeit ist für mich unbezahlbar!“

Was Akiko Ishii an Seeing AI noch gefällt, ist die Tatsache, dass sie die App mit ihren vielen Funktionen für so gut wie alles verwenden kann: „Seeing AI ist mein persönlicher Assistent geworden und bietet mir die Unterstützung, die ich brauche, damit ich mich zum Beispiel um meine Tochter kümmern kann.“

Die App mit Unterstützung für deutsche, englische, französische, japanische, niederländische und spanische Sprache ist zum kostenlosen Download im Apple App Store verfügbar. Mehr Informationen über die App findet ihr hier.