A economia compartilhada da IA: porque a Microsoft coloca conjuntos de dados e métricas à disposição do público

Por Allison Linn//

Da esquerda para direita, Adam Atkinson, da Microsoft Research Maluuba, Yoshua Bengio, da Universidade de Montreal, e Samira Ebrahimi Kahou, da Microsoft Research Maluuba estão entre os especialistas de IA que trabalharam com o conjunto de dados FigureQA. (Foto: Microsoft Research Maluuba)

Samira Ebrahimi Kahou e seus colegas da Microsoft Research Maluuba recentemente tentaram resolver um problema de pesquisa: como usar a Inteligência Artificial (IA) para raciocinar sobre informações encontradas em gráficos?

Um grande obstáculo, descobriram, era que a área de pesquisa era tão nova que não havia nenhum conjunto de dados disponível para testar suas hipóteses.

Então, eles criaram um.

O conjunto de dados FigureQA, disponibilizado publicamente no início de setembro, é um dos vários conjuntos de dados, métricas e outras ferramentas para testar sistemas de Inteligência Artificial que os pesquisadores e engenheiros da Microsoft criaram e compartilharam nos últimos anos. Pesquisadores de todo o mundo os usam para verificar a efetividade de seus sistemas de IA, desde a tradução de um discurso até a predição da próxima palavra que uma pessoa pode querer digitar.

As equipes dizem que essas ferramentas fornecem uma maneira codificada para todos, desde pesquisadores acadêmicos até especialistas do setor, testarem seus sistemas, comparar seu trabalho e aprender uns com os outros.

“Ele esclarece nossos objetivos e, em seguida, outros na comunidade de pesquisa podem dizer: ‘OK, vejo para onde você está indo’”, disse Rangan Majumder, gerente de projeto parceiro da divisão Bing da Microsoft, que também lidera o desenvolvimento do conjunto de dados para compreensão de leitura de máquina MS MARCO. O conjunto de dados em uso há um ano receberá uma atualização nos próximos meses.

Para pessoas acostumadas com a maneira mais tradicional de fazer as coisas da indústria tecnológica, esse tipo de compartilhamento de informações pode parecer surpreendente. Mas no campo da IA, onde os acadêmicos e as principais empresas do setor estão muito conectados, os pesquisadores dizem que esse tipo de abertura está se tornando mais comum.

“Tradicionalmente, as empresas sempre mantiveram suas pesquisas internamente. Agora, estamos vendo no mercado que elas estão publicando artigos e tentando avançar o estado da arte em vez de deixá-lo num jardim murado”, disse Rahul Mehrotra, gerente de programa do Maluuba lab da Microsoft baseado em Montreal, Canadá, que também lançou dois outros conjuntos de dados, NewsQA e Frames, no ano passado.

Muitos especialistas dizem que essa cultura mais colaborativa é crucial para avançar no campo da IA. Eles observam que muitos dos avanços iniciais nessa área surgiram a partir do compartilhamento do resultado de pesquisadores de instituições concorrentes, que foram construindo sobre o trabalho uns dos outros.

“Não podemos ter todas as ideias no planeta, então, se alguém tiver uma ótima ideia e quiser experimentá-la, podemos fornecer um conjunto de dados para fazer isso”, disse Christian Federmann, gerente de programa sênior da equipe Microsoft Translator.

A equipe de Federmann desenvolveu o Microsoft Speech Language Translator Corpus para que eles e outros possam testar sistemas bilíngues de tradução de fala conversacional, como o recurso ao vivo do Microsoft Translator e o Skype Translator. O corpus foi recentemente atualizado com pares de idiomas adicionais.

Federmann também observa que a Microsoft é uma das poucas empresas que têm o orçamento e os recursos para criar ferramentas e conjuntos de dados de alta qualidade, que permitem a comparação do trabalho por toda a indústria.

Essa é a chave para criar o tipo de exemplo que as pessoas podem usar para mostrar suas realizações. Por exemplo, os marcos recentes no reconhecimento de fala conversacional baseiam-se nos resultados do corpus Switchboard.

Rangan Majumder, gerente de projeto parceiro da divisão Bing da Microsoft, lidera o desenvolvimento do conjunto de dados para compreensão de leitura de máquina MS MARCO.
Retribuir para alguém no futuro

Muitas das equipes que agora desenvolvem conjuntos de dados e outras métricas dizem que estão, em certo sentido, retribuindo para alguém no futuro, porque também dependem de conjuntos de dados que outros criaram.

Quando eles eram uma pequena startup, Mehrotra disse que a Maluuba dependia fortemente de um conjunto de dados da Microsoft chamado MCTest. Agora, como parte da Microsoft, eles ficaram satisfeitos ao ver que os conjuntos de dados que criam estão sendo usados por outros nesse campo.

Devi Parikh, professora assistente da Georgia Tech e pesquisadora do Facebook AI Research, disse que o conjunto de dados FigureQA, recentemente disponibilizado pela Maluuba, é útil porque permite que pesquisadores como ela trabalhem em problemas que exigem o uso de múltiplos tipos de IA. Ler com precisão um gráfico e responder uma pergunta sobre ele requer tanto a visão computacional quanto o processamento de linguagem natural.

“Do ponto de vista da pesquisa, acho que há mais e mais interesse em trabalhar em problemas que estão na interseção de subcampos de IA”, disse ela.

Ainda assim, pesquisadores e engenheiros que trabalham no campo da IA dizem que, embora o compartilhamento de informações seja valioso, também há momentos em que pesquisadores concorrentes querem comparar seus sistemas sem revelar todas as informações sobre os dados que estão usando.

Doug Orr, líder sênior em engenharia de software da SwiftKey, que a Microsoft adquiriu no ano passado, disse que sua equipe queria criar uma maneira padrão de medir o bom trabalho que um sistema faz ao prever o que uma pessoa irá digitar. Esse é um componente importante dos sistemas SwiftKey, que oferecem previsões personalizadas com base no estilo de comunicação de uma pessoa.

Em vez de compartilhar um conjunto de dados, a equipe criou um conjunto de métricas que os pesquisadores podem usar com qualquer conjunto de dados. As métricas, que estão disponíveis no GitHub, permitem aos pesquisadores ter benchmarks padronizados com os quais eles podem medir suas próprias melhorias e comparar seus resultados com outros, sem ter que compartilhar dados proprietários.

Orr disse que as métricas beneficiaram a equipe internamente porque eles têm uma melhor percepção de quanto seus sistemas estão melhorando ao longo do tempo, e permitiram que todos na área fossem mais transparentes sobre seu desempenho em relação aos outros.

Majumder, da equipe de Bing, diz que sua equipe vê valor ao testar seus sistemas com todos os benchmarks disponíveis, incluindo dados internos que eles não compartilham publicamente, conjuntos de dados que eles criam para uso público e aqueles que outros criam, como o conjunto de dados SQuAD.

Quando as pessoas se juntam a sua equipe de outras áreas da empresa, ele diz que muitas vezes eles têm que se acostumar com o fato de que estão entrando em uma área híbrida, onde a equipe desenvolve produtos ao mesmo tempo em que faz descobertas de pesquisa de IA.

No campo de IA, ele diz: “o que temos é um lugar entre a engenharia e a ciência”.

Allison Linn é editora sênior da Microsoft.

Tags: , , , ,

Posts Relacionados