Por Allison Linn //
Há apenas uma década, a ideia de usar a tecnologia para fazer coisas como traduzir conversas automaticamente, identificar objetos em fotos – ou mesmo escrever uma sentença descrevendo essas fotos – pareciam projetos interessantes, mas não eram práticos para o mundo real.
As melhorias recentes em Inteligência Artificial (IA) mudaram isso. Atualmente, mais e mais pessoas começaram a confiar em sistemas feitos com tecnologias como aprendizagem de máquina. Isso está levantando novas questões entre os pesquisadores de inteligência artificial sobre como garantir que as bases de muitos desses novos sistemas – os algoritmos, os dados de treinamento e até mesmo os sistemas para testar as ferramentas – sejam precisas e imparciais ao máximo possível.
Ece Kamar, pesquisadora da Microsoft em sistemas adaptativos e grupos de interação, afirma que o impulso veio quando pesquisadores e desenvolvedores perceberam que, apesar do fato de os sistemas serem imperfeitos, muitas pessoas já confiam neles para tarefas importantes.
“É por isso que é tão importante que saibamos onde nossos sistemas estão cometendo erros”, afirma Kamar.
Na Conferência sobre Inteligência Artificial AAAI, em San Francisco, Kamar e outros pesquisadores da Microsoft apresentarão dois artigos que pretendem focar no uso de uma combinação de algoritmos e especialidade humana para eliminar imperfeições de dados e sistemas. Separadamente, outra equipe da Microsoft está lançando um corpus que pode ajudar pesquisadores de tradução de fala a testar a precisão e efetividade de seus sistemas conversacionais bilíngues.
Os dados subjacentes à inteligência artificial
Quando um desenvolvedor cria uma ferramenta utilizando aprendizagem de máquina, ele normalmente confia no que é chamado de dados de treinamento para ensinar o sistema para realizar uma tarefa particular. Por exemplo, para ensinar um sistema a reconhecer vários tipos de animais, os desenvolvedores normalmente mostram ao sistema muitas fotos de animais, para que possa ser treinado a dizer a diferença entre, digamos, um gato e um cachorro.
Teoricamente, o sistema pode então ver fotos de cachorros e gatos que nunca viu antes e ainda categorizá-los precisamente.
Mas, Kamar explica, os sistemas de treinamento de dados às vezes podem ter alguns “pontos cegos” que levarão a resultados falsos. Por exemplo, digamos que o sistema só está treinado com fotos de gatos que são brancos e cachorros que são pretos. Mostre a foto de um cachorro branco e ele pode fazer uma correlação falsa e confundi-lo com um gato.
Esses problemas surgem, em parte, porque muitos pesquisadores e desenvolvedores estão utilizando conjuntos de treinamento que não foram especificamente criados para ensinar a tarefa em questão. Isso faz sentido – um conjunto de dados que já existe, como um arquivo de imagens de animais, é mais barato e rápido do que construir um por conta própria – mas torna muito importante adicionar esse tipo de verificação de segurança.
“Sem isso, não vamos entender quais tipos de desvio existem”, afirma Kamar.
Em um desses artigos, Kamar e seus colegas mostram um algoritmo que eles acreditam que podem utilizar para identificar esses pontos cegos em modelos preditivos, permitindo que desenvolvedores e pesquisadores resolvam o problema. É um projeto de pesquisa agora, mas eles esperam que isso possa eventualmente se tornar algo que os desenvolvedores e pesquisadores possam utilizar.
“Qualquer tipo de empresa ou acadêmico que esteja trabalhando com aprendizagem de máquina precisará dessa ferramenta”, explica Kamar.
Outro artigo que Kamar e seus colegas estão apresentando na conferência AAAI busca ajudar os pesquisadores a entender quais diferentes tipos de engano em sistemas complexos de inteligência artificial podem levar a resultados incorretos. Isso pode ser surpreendentemente difícil de analisar à medida que os sistemas de inteligência artificial realizam cada vez mais tarefas complexas, confiando em múltiplos componentes que podem se emaranhar.
Por exemplo, digamos que uma ferramenta de legendas automáticas de fotos está descrevendo a imagem de um ursinho de pelúcia como um blender. Você pode pensar que o problema é com o componente treinado para reconhecer as imagens, apenas para descobrir que ele realmente está no elemento feito para escrever as descrições.
Kamar e seus colegas criaram uma metodologia que fornece um guia sobre como resolver esses problemas ao simular várias soluções diretamente na fonte dos problemas.
Um “humano no circuito”
Por essa e outras pesquisas que ela está conduzindo, Kamar afirma que foi fortemente influenciada pelo trabalho que fez na AI 100, um estudo da Universidade de Stanford sobre como a inteligência artificial irá afetar as pessoas no próximo século.
Kamar afirma que uma das conclusões desse trabalho foi a importância de garantir que as pessoas estejam profundamente envolvidas em desenvolver, verificar e solucionar sistemas – o que os pesquisadores chamam de “humanos no processo”. Isso garantirá que as inteligências artificiais que criamos melhorem as capacidades humanas e reflitam como querem que elas ajam.
Testando a precisão da tradução conversacional
Quando desenvolvedores e pesquisadores acadêmicos criam sistemas para reconhecer as palavras em uma conversa, eles têm boas formas de testar a precisão de seu trabalho, conjuntos de dados conversacionais como Switchboard e CALLHOME.
Christian Federmann, gerente de programação sênior que trabalha com a equipe do Microsoft Translator, explica que não há muitos conjuntos de dados padronizados para testar sistemas bilíngues de tradução de conversação como o recurso ao vivo do Microsoft Translator e o Skype Translator.
Então ele e seus colegas decidiram fazer um.
O corpus Microsoft Speech Language Translator, que estará disponível publicamente para qualquer um utilizar, permite que os pesquisadores meçam a qualidade e a efetividade de seus sistemas de tradução conversacional em relação ao um conjunto de dados que inclui conversações múltiplas entre pessoas bilíngues que falam francês, alemão e inglês.
O corpus, que foi produzido pela Microsoft utilizando indivíduos bilíngues, busca criar um padrão com o qual pessoas possam mensurar quão bem seus sistemas de tradução de conversação funcionam.
“São necessários dados de alta qualidade para ter testes de alta qualidade”, afirma Federmann.
Um conjunto de dados que acerta na combinação tanto de conversações quanto em traduções bilíngues fazia falta até agora.
Marine Carpuat, professora assistente de ciência da computação na Universidade de Maryland, que faz pesquisas em processamento de linguagem natural, afirma que, quando queria testar seus algoritmos para tradução conversacional, ela normalmente tinha que confiar nos dados que estavam disponíveis livremente, como em traduções oficiais de documentos da União Europeia.
Esse tipo de tradução não foi criada para testar sistemas de tradução conversacional e não necessariamente reflete as formas mais casuais e espontâneas nas quas as pessoas realmente conversam com as outras, explica. Isso torna difícil saber se as técnicas que ela tem funcionarão quando alguém quiser traduzir uma conversa comum, com todas as pausas de pensamento, “hms” e outros tiques da linguagem falada.
Carpuat, que recebeu acesso antecipado ao corpus, disse que ele foi útil imediatamente para ela.
“Foi uma forma de pegar um sistema que sei que roda bem com dados formais e ver o que acontece se tentamos lidar com uma conversação”, ela afirma.
A equipe Microsoft espera que o corpus, que estará disponível gratuitamente, irá beneficiar todo o campo de tradução conversacional e ajudar a criar testes mais padronizados que os pesquisadores possam usar para medir seu trabalho em relação aos outros.
“Isso ajuda o campo a avançar”, afirma Will Lewis, o principal gerente técnico do progra junto à equipe do Microsoft Translator, que também trabalhou no projeto.
Allison Linn é Redatora Sênior na Microsoft.
Foto do alto: Marine Carpuat, professora assistente de ciência da computação, trabalha com o colega Philip Resnik, professor de linguística, no Laboratório de Linguística Computacional e Processamento de Informação na Universidade de Maryland.
