Ir para a página inicial
Monique usa seu celular para tirar fotos

Ela queria tirar fotos. Ele queria entender filmes em inglês. Veja como a IA ajudou os dois.

A última vez que pôde ver sua família, seus animais de estimação ou suas adoradas flores foi quando ela tinha 11 anos. Monique Van den Abbeel, nascida com um glaucoma congênito que resultou em danos ao nervo óptico, ficou cega do olho direito aos quatro anos de idade e perdeu a visão do olho esquerdo sete anos mais tarde. As várias cirurgias realizadas ao longo dos anos não mudaram nada para essa menina de Bruges, na Bélgica.

As memórias visuais das pessoas e coisas mais queridas permaneceram com ela, mas estavam começando a desvanecer. Aos 43 anos e tão corajosa, rebelde e independente como quando era criança, Monique queria usar seu smartphone sozinha para fotografar todas as coisas que lhe traziam — e ainda trazem — alegria como uma forma de “me ajudar a acessar minhas memórias e mantê-las”, ela diz.

Na cidade de Lokeren, a cerca de uma hora de carro de Bruges, um garoto guerreiro de 17 anos de idade gosta de nadar, ouvir audiolivros e assistir TV, filmes e programas em streaming com sua família nos finais de semana, quando deixa a escola para vir para casa.

Na Bélgica, muitos dos filmes e programas de TV em streaming são transmitidos em inglês, com legendas em holandês. Embora Wouter De Brandt fale holandês, ele tem dificuldade para ler devido a uma deficiência visual cortical, resultado de uma lesão cerebral sofrida antes do nascimento e durante o parto. Quando ele tenta ler, sente náusea, tontura e desorientação. Ele queria uma forma de ouvir os filmes em holandês que sua família assiste.

Wouter De Brandt, com sua mãe, à direita.
Wouter De Brandt, com sua mãe, à direita, queria poder assistir filmes com legendas em holandês e que as legendas fossem lidas para ele.

Van den Abbeel e De Brandt não se conhecem, embora os belgas costumem dizer que quase todo mundo conhece todo mundo nesse pequeno país, com cerca de 30.000 quilômetros quadrados.

Mas seus sonhos — o de Van den Abbeel de poder tirar fotos e o de De Brandt de entender o diálogo dos filmes que assiste com a família — seriam realizados pela mesma pequena equipe de pessoas que não só compreendiam as frustrações deles, como também estavam determinadas a ajudá-los.

Dentre essas pessoas, estava Katrien De Graeve, uma programadora e desenvolvedora web em grande parte autodidata que se sente muito à vontade com a tecnologia, mas não necessariamente com a atenção. Nascida na França, De Graeve fixou residência na Bélgica, trabalhando para empresas na criação de sites de comércio eletrônico e aplicativos web.

Katrien De Graeve , da Microsoft
Katrien De Graeve diz que foi uma honra trabalhar com Monique Van den Abbeel e Wouter De Brandt. “Ainda fico emocionada quando começo a pensar nos dois”, diz ela. “Eu realmente quero que eles se sintam parte de uma comunidade, e não se sintam deixados de fora.” (Foto: Scott Eklund / Red Box Pictures)

Em 2008, foi contratada pela Microsoft na Bélgica, onde teve uma variedade de funções nos últimos 11 anos, de desenvolvedora evangelista à atual função de especialista em Internet das Coisas na equipe Faixa Preta do Azure Global de arquitetos de nuvem que trabalham com os clientes.

Há um ano, De Graeve foi convidada a ser um dos oito participantes do Team Scheire, um programa de TV belga similar à série de documentários da BBC The Big Life Fix, na qual os inventores criam soluções de tecnologia para pessoas com necessidades especiais. (A série da BBC destacou o trabalho da pesquisadora da Microsoft Haiyan Zhang, que desenvolveu um relógio capaz de reduzir temporariamente, com o uso de vibrações, os tremores das mãos da designer gráfica Emma Lawton, que tem a doença de Parkinson.)

De Graeve aceitou, embora não estivesse totalmente à vontade em ter uma equipe de TV filmando suas sessões de brainstorm com seus colegas da Microsoft, suas reuniões com Van den Abbeel e De Brandt durante o andamento do projeto e suas divagações noturnas, enquanto tentava resolver problemas sozinha, geralmente aos finais de semana. Isso estava fora da “zona de conforto” dela — o que foi um dos motivos para que ela aceitasse.

“Nunca pensei que algo assim fosse me acontecer um dia”, ela diz.

Das centenas de pedidos de ajuda do público que chegaram ao Team Scheire antes da primeira temporada do programa, no ano passado, o apresentador — o jornalista de tecnologia e ciências Lieven Scheire — e sua equipe tiveram que selecionar 16 pessoas, e cada inventor tinha a tarefa de encontrar formas de ajudar duas pessoas.

De todos os problemas, o de Van den Abbeel era o “nosso caso mais desafiador”, conta Scheire.

Ele se lembra de uma das primeiras sessões, quando a equipe do programa se reuniu para falar sobre isso. “Temos uma pessoa que é cega e que deseja tirar suas próprias fotos sem a ajuda de ninguém”, ele diz. “Todos se olharam e pensaram: ‘OK, entendemos a necessidade, mas não temos nem ideia de qual seria a solução. Como se ajuda uma pessoa cega a tirar fotos?’.”

Com a ajuda de seus colegas, De Graeve encontrou uma forma. Ela também estava determinada em ajudar De Brandt. Nele, ela via um jovem que desejava não só desfrutar do entretenimento com sua família, mas também ser capaz de conversar sobre os programas e filmes mais recentes com os amigos da escola, algo que faz parte da conversa dos adolescentes.

♦♦♦♦♦

Monique Van den Abbeel e Dinky, cavalo-guia em treinamento
Monique Van den Abbeel e Dinky, que está sendo treinado para se tornar seu cavalo-guia. (Foto cedida por Monique Van den Abbeel)

Quando você conversa com a Monique Van den Abbeel, percebe na hora que ela é gregária e bem-humorada, com sua gargalhada sonora e a empolgação da sua voz. Ela é uma diva da mídia social, com presença no Instagram, no Facebook e no YouTube. Tem seu próprio site que, em parte, foi criado para promover sua autobiografia de 2016, Like to See! Blind Mama, Strong Woman. Ela é mãe solteira de um garoto de 17 anos e espera ser a primeira pessoa da Bélgica a ter um cavalo-guia (sim, isso mesmo, um cavalo-guia).

Seu filho, Robin, é questionado: A mãe de algum dos seus amigos fica tanto online quanto a sua? “Não! Nenhuma!”, ele diz, maravilhado com a energia e a persistência dela e com sua motivação para se manter conectada com o mundo ao redor dela. Van den Abbeel dá palestras sobre a vida como uma pessoa cega e gosta de divertir as pessoas com programas nos quais ela faz comédia, canta e dança.

Van den Abbeel também tirou fotos de Robin ao longo de toda a vida dele, imaginando como e onde fotografá-lo com base na proximidade física e na voz. Ela continuou tirando fotos com o smartphone praticamente da mesma maneira. Robin ajuda sua mãe a escolher as fotos que saem melhores, e depois as publica online para ela.

Mas ela queria fazer mais do que apertar o botão. Ela queria realmente saber o que estava capturando e se estava em foco ou centralizado. E ela sabe que terá ainda mais a fotografar quando um minicavalo chamado Dinky, com cerca de 60 cm de altura, se tornar seu animal-guia no próximo ano.

Os cavalos-guia são incomuns, mas existem, e Van den Abbeel já teve vários encontros com Dinky, que está sendo treinado agora para trabalhar com ela.

Para ajudar Van den Abbeel, De Graeve contatou a equipe da Microsoft responsável pelo aplicativo para smartphone Seeing AI, lançado em 2017 e projetado para ajudar pessoas cegas ou com visão limitada descrevendo pessoas, objetos e textos ao redor delas.

“Junto com Saqib Shaikh, uma das pessoas responsáveis pelo Seeing AI, começamos a discutir ideias para Monique e como eles viam uma oportunidade de aproveitar a estrutura do Seeing AI para criar um protótipo especial ‘para Monique’”, escreveu De Graeve em um artigo do LinkedIn. “Sem essa camada de base, nada teria sido possível!”

Membros da equipe da Microsoft que trabalharam no projeto de Monique Van den Abbeel
Entre os membros da equipe da Microsoft que trabalharam no projeto de Monique Van den Abbeel estão, de pé, Jan Tielens, à esquerda; Wesley Backelant, direita; e sentados à esquerda, Nick Trogh, Katrien De Graeve e Peter Maynard.

A ajuda adicional veio dos colegas de De Graeve que fizeram parte de um hackathon da Microsoft no campus de Redmond em abril de 2018. Dentre eles, estava Wesley Backelant, um arquiteto de soluções na nuvem com competências em análise avançada e IA.

“Quando soube do projeto, imediatamente senti que a IA seria um bloco de construção importante se quiséssemos mudar as vidas das pessoas”, conta Backelant. “Saber que aquilo que íamos construir teria um impacto real na vida cotidiana de Van den Abbeel imediatamente me convenceu a integrar a equipe.”

O que foi construído pela equipe incorporava ainda o machine learning, para que a câmera pudesse fazer o reconhecimento offline em tempo real de 1.500 objetos, distinguindo até mesmo os veículos como “carro” ou “minivan”, e falar quais eram os objetos para ajudar Van den Abbeel a escolher suas próprias fotos mais tarde.

Além disso, quando Van den Abbeel tira fotos na horizontal, se o quadro não estiver reto, o telefone vibrará para informá-la disso e também a alertará se os olhos de alguém estiverem fechados em uma foto, para que ela possa tirar outra, se quiser. Essas soluções, criadas para Van den Abbeel, ainda não estão publicamente disponíveis.

Usando um modelo de machine learning, a equipe também aprimorou os recursos de reconhecimento facial do Seeing AI para oferecer o reconhecimento em tempo real de Dinky.

Em um dos dias de teste do aplicativo, ao apontar a câmera do smartphone para Dinky, Monique ouviu: “Dinky está à esquerda no quadro”.

Outro som, já incorporado ao Seeing AI, informa se há luz suficiente no quadro para tirar a foto.

“Meus olhos jamais poderão ver novamente, mas é como se isto tivesse me dado uma nova forma de ver”, diz Van den Abbeel.

♦♦♦♦♦

Wouter De Brandt com sua mãe, Sofie Huys.
Wouter De Brandt com sua mãe, Sofie Huys.

Wouter De Brandt é filho de dois engenheiros elétricos. Assim como seus pais, ele é inteligente e adora a aprender. Mas a deficiência visual cortical torna literalmente dolorosa a leitura de letras e palavras. Os números são um pouco mais fáceis para ele, explica sua mãe, Sofie Huys.

Com os números, “você só tem 1 a 9, e tanto faz você ler 1,2,3 separadamente ou ver a sequência 123 imediatamente”, ela diz. No entanto, se você tiver que ler cada caractere, um por vez, “as palavras mais longas exigem muito tempo e esforço e, quando você chega no final, já não lembra como começou”.

Seu alcance limitado de visão também transforma em desafio um passeio de bicicleta ou mesmo a pé sozinho.

Durante a semana, De Brandt frequenta uma escola distante da casa de sua família. Ele volta para casa aos finais de semana, quando sua mãe, seu pai, Pascal De Brandt, e seu irmão Arno gostam de assistir filmes que, na maioria das vezes, estão em inglês e programas de TV com legendas em holandês. Um dos programas que eles mais gostam é o The Big Bang Theory, uma série cômica dos EUA muito apreciada e em cartaz há muito tempo, centrada em alguns jovens físicos e seus amigos.

Mas De Brandt não fala inglês, e não consegue ler as legendas em holandês devido à sua deficiência. Quando souberam do Team Scheire, seus pais imediatamente se candidataram: “Estamos sempre em busca de ferramentas que possam tornar a vida do Wouter mais simples”, diz Huys.

De Graeve incorporou a IA combinando o reconhecimento óptico de caracteres com as legendas em holandês e a conversão de texto em fala para narrar as legendas. De Brandt usa um laptop Surface equipado com essa solução e um fone de ouvido com condução óssea (em vez de um acústico) para poder ouvir os diálogos sem perder a música e os efeitos sonoros que emanam da tela.

O adolescente não ficou muito impressionado com o protótipo inicial, que não funcionou muito bem. Ele apenas encolheu os ombros, como os adolescentes geralmente fazem para dizer que não estão nem aí, quando na verdade, estão.

“Ele estava esperançoso, mas entendia que não seria fácil encontrar uma solução e, para se proteger do desencanto, manteve suas expectativas bem baixas”, conta Huys.

Para De Graeve, isso também foi frustrante. “Fiquei muito estressada, e não sabia como resolver isso”, ela diz, não querendo desapontar o adolescente.

Após meses de trabalho, incluindo a ajuda de colegas, De Graeve desenvolveu um aplicativo mais bem-acabado para De Brandt (o software do aplicativo está publicado como um exemplo de código, disponível para qualquer pessoa, no GitHub).

De Brandt ficou “surpreso e feliz”, diz sua mãe. “Funcionou muito melhor do que ele esperava.”

Ele passou algum tempo se atualizando com os episódios do The Big Bang Theory. O que ele achou? Méh…

“Nós adoramos o The Big Bang Theory, por isso achamos que o Wouter gostaria também”, diz Huys. “Mas, infelizmente, não é a praia dele. Mas, pelo menos agora ele sabe que não gosta. Antes, ele achava que estava perdendo muita coisa por não poder entender do que se tratava.”

A família “não se sente mais culpada por assistir a um filme em inglês, porque agora ele tem a opção de querer assistir ou não”, ela diz. “Ele nem sempre participa, mas pode decidir sozinho, agora, quando antes não havia escolha.”

“Agora, ele pode falar com os amigos da escola e dizer ‘Sim, eu assisti isso’, ‘Não, não gostei daquilo’ ou ‘Sim, foi muito bom’”, diz De Graeve. “Antes, quando as pessoas começavam a falar sobre um filme ou algo assim e ele dizia ‘Não, eu não assisti, não sei do que vocês estão falando’, ele se sentia de fora. Mas agora ele simplesmente quer ser normal como todo mundo, e eu acho que o ajudei um pouquinho, e isso é muito especial.”

♦♦♦♦♦

Nick Trogh, engenheiro de software da Microsoft na Bélgica, estava entre os membros da equipe que trabalharam nos projetos de De Brandt e de Van den Abbeel.

Ele desenvolveu a funcionalidade de detecção de objetos do aplicativo para Van den Abbeel, que “permitiu que ela ouvisse em tempo real quais objetos estavam no foco da câmera e onde eles estavam”, como “superior esquerda” ou “centro, inferior direita”.

Como ele trabalhava com IA e tecnologia de visão de computador, ele também deu ideias para De Graeve “de como otimizar o processo de reconhecimento de legendas em um aparelho de TV” para De Brandt.

“Foi realmente uma honra poder participar desses projetos, saber que algumas linhas de código podem fazer tanta diferença na vida de uma pessoa”, diz Trogh.

A primeira temporada de Team Scheire já terminou, mas o trabalho de De Graeve, não. Ela está fazendo o acompanhamento com De Brandt, refinando o aplicativo para que ele possa ser usado facilmente no cinema. E ela e Van den Abbeel se tornaram boas amigas e, às vezes, vão ao teatro juntas. “Ela é uma grande inspiração para mim”, diz De Graeve.

A especialista técnica, que se sente muito à vontade com a tecnologia, mas não necessariamente com a atenção, estimou várias coisas certas nos dois projetos. O que ela subestimou, segundo ela mesma, foi o impacto que De Brandt e Van den Abbeel teriam sobre a vida dela.

“Foi uma evolução também para mim”, diz De Graeve. “Ainda me emociono quando começo a pensar neles. Realmente quero que eles se sintam parte de uma comunidade, não deixados de fora.”