Por Brad Smith, presidente da Microsoft
Em julho, compartilhamos nossos pontos de vista sobre a necessidade de regulamentação governamental e de medidas responsáveis do setor para abordar o avanço da tecnologia de reconhecimento facial. Conforme discutimos, essa tecnologia traz benefícios sociais importantes e até empolgantes, mas também o potencial de abuso. Notamos a necessidade de um estudo e discussão mais amplos sobre essas questões. Nos meses seguintes, discutimos essas questões ainda mais, conversando com tecnólogos, empresas, grupos da sociedade civil, acadêmicos e funcionários públicos em todo o mundo. Aprendemos mais e testamos novas ideias. Com base nesse trabalho, acreditamos que é importante ir além do estudo e da discussão. Chegou o tempo para a ação.
Acreditamos que é importante que os governos comecem a adotar leis para regulamentar essa tecnologia em 2019. O gênio do reconhecimento facial, por assim dizer, está emergindo da garrafa. Se não agirmos, corremos o risco de acordar daqui a cinco anos para descobrir que os serviços de reconhecimento facial se espalharam de formas que exacerbam os problemas da sociedade. Passado tanto tempo, esses desafios serão muito mais difíceis de enfrentar.
Em particular, não acreditamos que o mundo será mais bem atendido por uma corrida comercial até as últimas consequências, com as empresas de tecnologia obrigadas a escolher entre responsabilidade social e sucesso de mercado. Acreditamos que a única maneira de evitar essa corrida é construir um piso de responsabilidade que suporte a concorrência saudável do mercado. E um piso sólido exige que garantamos que essa tecnologia, e as organizações que a desenvolvem e usam, sejam regidas pelo estado de direito.
Embora não tenhamos respostas para todas as possíveis perguntas, acreditamos que existem respostas suficientes para uma legislação inicial boa nessa área, que permitirá que a tecnologia continue avançando, protegendo o interesse público. É fundamental que os governos acompanhem essa tecnologia, e essa abordagem incremental permitirá um aprendizado mais rápido e melhor em todo o setor público. Resumimos nossas ideias abaixo e priorizaremos esse tópico em nossas discussões sobre políticas públicas em estados e países selecionados.
Acreditamos também que, embora seja melhor abordar esses problemas de maneira ampla, não devemos esperar pela ação dos governos. Nós e outras empresas de tecnologia precisamos começar a criar salvaguardas para abordar a tecnologia de reconhecimento facial. Acreditamos que essa tecnologia pode atender nossos clientes de maneiras importantes e amplas e, cada vez mais, não somos apenas incentivados, mas inspirados por muitos dos aplicativos de reconhecimento facial que nossos clientes estão implantando. Mas mais do que outras tecnologias, essa precisa ser desenvolvida e usada com cuidado. Após discussões e revisões substanciais, decidimos adotar seis princípios para gerenciar esses problemas na Microsoft. Estamos compartilhando esses princípios agora, com um compromisso e planos de implementá-los até o final do primeiro trimestre de 2019.
Também lançaremos novos materiais e recursos de treinamento para ajudar nossos clientes a usar essa tecnologia de forma responsável. Especialmente no atual estágio de desenvolvimento e mais do que em muitos outros produtos, a tecnologia de reconhecimento facial exige que empresas de tecnologia e clientes trabalhem juntos para implantar esses serviços com sucesso. Estamos comprometidos a trabalhar de perto com os clientes nos setores público e privado.
Os governos e o setor de tecnologia desempenham um papel vital para garantir que a tecnologia de reconhecimento facial crie amplos benefícios sociais ao mesmo tempo que reduz o risco de abuso. Embora muitas das questões estejam se tornando cada vez mais claras, a tecnologia é jovem. Precisamos abordar as questões iniciais agora e aprender enquanto avançamos, desenvolvendo mais conhecimento e experiência à medida que a tecnologia evolui e a experiência do setor público se aprofunda. É possível e talvez provável que etapas adicionais sejam necessárias com o tempo. Mas, como Mark Twain observou certa vez, “o segredo de seguir em frente é começar”. A hora de começar é agora.
Oportunidades de reconhecimento facial
Tal como acontece com todas as novas tecnologias, os usos do reconhecimento facial estão se multiplicando de maneira previsível e surpreendente. Mas está cada vez mais claro que muitos desses usos criaram muitos benefícios novos e positivos para as pessoas em todo o mundo.
É impressionante ver a amplitude dessa inovação. A polícia de Nova Deli, na Índia, recentemente testou a tecnologia de reconhecimento facial e identificou quase 3.000 crianças desaparecidas em quatro dias. Historiadores nos Estados Unidos usaram a tecnologia para identificar soldados desconhecidos em fotografias da Guerra Civil tiradas na década de 1860. Pesquisadores usaram com sucesso um software de reconhecimento facial para diagnosticar uma doença genética rara em africanos, asiáticos e latino-americanos. E em outubro, o Banco Nacional da Austrália criou uma prova de conceito para permitir que os clientes retirem dinheiro de um caixa automático usando reconhecimento facial e um PIN.
A Microsoft é uma das várias empresas que desempenham um papel importante no desenvolvimento da tecnologia de reconhecimento facial. Estamos trabalhando com clientes em todo o mundo e, ao mesmo tempo, atuamos de forma agressiva em esforços para melhorar a capacidade dessa tecnologia reconhecer rostos com diversas idades e tons de pele. No mês passado, uma nova avaliação conduzida pelo Instituto Nacional de Padrões e Tecnologia, ou NIST, verificou o progresso que fizemos no desenvolvimento da tecnologia de reconhecimento facial, que agora está no topo do setor de TI. Os algoritmos que a Microsoft submeteu a essa avaliação foram consistentemente classificados como os mais precisos ou próximos dos mais precisos dos 127 testados. Acreditamos no futuro da tecnologia de reconhecimento facial e no papel positivo que ela pode desempenhar.
Problemas que precisam ser abordados
Ao mesmo tempo, precisamos estar atentos aos riscos e ao potencial de abuso. À medida que continuamos a avaliar para onde essa tecnologia está indo, acreditamos que há três problemas que os governos precisam resolver.
Primeiro, especialmente em seu estado atual de desenvolvimento, certos usos da tecnologia de reconhecimento facial aumentam o risco de decisões e, mais genericamente, de resultados tendenciosos e que, em alguns casos, violam leis que proíbem a discriminação.
Segundo, o uso disseminado dessa tecnologia pode levar a novas intrusões na privacidade das pessoas.
E terceiro, o uso da tecnologia de reconhecimento facial por um governo para a vigilância em massa pode invadir as liberdades democráticas.
Acreditamos que todos esses três problemas devam ser tratados por meio de legislação, conforme descrito abaixo.
Abordando o preconceito e a discriminação
Primeiro, especialmente no estado atual de desenvolvimento, certos usos da tecnologia de reconhecimento facial aumentam o risco de decisões, resultados e experiências que são tendenciosas e até mesmo violam leis de discriminação. Pesquisa recente demonstrou, por exemplo, que algumas tecnologias de reconhecimento facial encontraram taxas de erro mais altas ao buscar determinar o gênero das mulheres e das pessoas de cor. Isso torna especialmente importante que a Microsoft e outras empresas de tecnologia continuem o trabalho necessário para identificar e reduzir esses erros e melhorar a precisão e a qualidade das ferramentas e serviços de reconhecimento facial. Este trabalho está em andamento e estamos fazendo um progresso importante. É igualmente importante que trabalhemos de perto com os clientes para garantir que os serviços de reconhecimento facial sejam implementados de maneira adequada, de forma a reduzir esses riscos. Com o tempo, acreditamos que forças de mercado que funcionam bem podem incentivar a inovação tecnológica necessária.
Mas também acreditamos que novas leis são necessárias nesta área e por duas razões distintas. Primeiro, as forças de mercado só funcionarão bem se os clientes em potencial estiverem bem informados e forem capazes de testar a tecnologia de reconhecimento facial quanto à precisão e aos riscos de influências injustas, incluindo desvios que surgem no contexto de aplicativos e ambientes específicos. Atualmente, as empresas de tecnologia variam em sua disposição de disponibilizar sua tecnologia para esse fim. Como resultado, alguns testes acadêmicos desses serviços omitiram alguns dos líderes de mercado. E quando importantes organizações de defesa tentaram realizar testes, enfrentaram quase imediatamente rejeições e críticas de alguns provedores que afirmam que o teste é deficiente. Como sociedade, precisamos de uma legislação que coloque grupos de testes imparciais, como o Consumer Reports e seus colegas, em uma posição na qual possam testar os serviços de reconhecimento facial com precisão, de maneira transparente e imparcial.
Acreditamos que novas leis podem atender essa necessidade com uma dupla abordagem:
- Exigir transparência. A legislação deve exigir que as empresas de tecnologia que oferecem serviços de reconhecimento facial forneçam documentação que explique os recursos e limitações da tecnologia de uma forma que clientes e consumidores possam entender.
- Permitir testes e comparações de terceiros. As novas leis também devem exigir que os fornecedores de serviços de reconhecimento facial permitam que terceiros, envolvidos em testes independentes, conduzam e publiquem testes razoáveis de seus serviços de reconhecimento facial para que os resultados sejam mais precisos e não tendenciosos. Uma abordagem sensata é exigir que as empresas de tecnologia que tornam seus serviços de reconhecimento facial acessíveis na internet também disponibilizem uma interface de programação de aplicativos ou outra capacidade técnica adequada para essa finalidade.
Há uma segunda razão para acreditarmos que é necessária uma nova legislação nessa área, e ela aponta para medidas adicionais que precisam ser contempladas. Embora tenhamos esperanças de que as forças do mercado possam acabar resolvendo problemas relacionados a preconceito e discriminação, presenciamos um risco crescente de que os serviços de reconhecimento facial estejam sendo usados de maneiras que possam afetar negativamente consumidores e cidadãos nos dias de hoje.
Obviamente, é desanimador pensar nas melhorias futuras dessa tecnologia se ela for identificada incorretamente e usada de uma forma que prive você da capacidade de acessar os serviços do governo, conseguir entrada em um evento ou comprar produtos. Esses problemas podem ser ampliados quando as organizações implantam o reconhecimento facial além dos limites da tecnologia atual ou de maneira diferente do que se pretendia quando foram projetados. Acreditamos que uma nova lei pode ajudar a resolver essas preocupações sem impor obrigações onerosas às empresas e outros usuários. Isto também envolve uma abordagem jurídica em duas frentes:
- Garantir uma revisão humana significativa. Embora os seres humanos não estejam imunes a erros ou vieses, acreditamos que, em determinados cenários de alto risco, é essencial que as pessoas qualificadas analisem os resultados do reconhecimento facial e tomem decisões importantes em vez de simplesmente entregá-las aos computadores. A nova legislação deve, portanto, exigir que as entidades que implantam o reconhecimento facial realizem uma revisão humana significativa dos resultados do reconhecimento facial antes de tomar decisões finais sobre o que a lei considera como “casos de uso consequentes” que afetam os consumidores. Isso inclui onde as decisões podem criar um risco de danos corporais ou emocionais em um consumidor, onde pode haver implicações nos direitos humanos ou fundamentais e onde a liberdade pessoal ou a privacidade do consumidor podem ser afetadas.
- Evitar o uso de discriminação ilegal. Por fim, é importante que as entidades que implantam serviços de reconhecimento facial reconheçam que não estão isentas de sua obrigação de cumprir as leis que proíbem a discriminação contra consumidores individuais ou grupos de consumidores. Isso fornece uma razão extra para garantir que os seres humanos realizem uma revisão significativa, dada sua responsabilidade contínua e definitiva sob a lei para decisões baseadas no uso do reconhecimento facial.
Protegendo a privacidade das pessoas
Segundo, o uso disseminado da tecnologia de reconhecimento facial pode levar a novas intrusões na privacidade das pessoas. Por exemplo, todos os estabelecimentos públicos podem instalar câmeras conectadas à nuvem com serviços de reconhecimento facial em tempo real.
Curiosamente, o movimento de privacidade nos Estados Unidos nasceu de melhorias na tecnologia de câmeras. Em 1890, o futuro juiz da Suprema Corte Louis Brandeis deu o primeiro passo na defesa da proteção da privacidade quando coescreveu um artigo com o colega Samuel Warren na Harvard Law Review defendendo “o direito de ser deixado sozinho”. Os dois argumentaram que o desenvolvimento de “fotografias instantâneas” e sua circulação pelos jornais para ganhos comerciais criaram a necessidade de proteger as pessoas com um novo “direito à privacidade”.
A tecnologia atualmente dá um novo significado às “fotografias instantâneas” que Brandeis e Warren provavelmente nunca imaginaram. A partir do momento em que se entra em um shopping, é possível não apenas ser fotografado, mas ser reconhecido por um computador onde quer que se vá. Além das informações coletadas por uma única câmera em um andar, os históricos de longo prazo podem ser reunidos ao longo do tempo a partir de várias câmeras em diferentes locais. O proprietário de um shopping pode compartilhar essas informações com todas as lojas. As lojas podem saber imediatamente quando você as visitou pela última vez, o que você viu ou comprou e, ao compartilhar esses dados com outras lojas, eles podem prever o que você deseja comprar na sua visita atual.
Nosso ponto não é privar os estabelecimentos comerciais dessa nova tecnologia. Ao contrário, estamos entre as empresas que trabalham para ajudar as lojas a usar com responsabilidade essa e outras tecnologias digitais para melhorar as compras e outras experiências do consumidor. Acreditamos que um grande número de compradores receberá e se beneficiará de melhorias no atendimento ao cliente que resultarão da novidade.
Mas as pessoas merecem saber quando esse tipo de tecnologia está sendo usado, de modo que possam fazer perguntas e exercer alguma escolha sobre o que desejam. Na verdade, nós acreditamos que esse tipo de transparência é vital para a construção do conhecimento e da confiança pública em tecnologia. A nova legislação pode oferecer isso em uma abordagem direta:
- Garantir o aviso. A lei deve exigir que entidades que usem reconhecimento facial para identificar os consumidores em lugares de compra comuniquem claramente que esses serviços estão sendo usados.
- Esclarecer o consentimento. A lei deve especificar que os consumidores concordam com o uso do serviço de reconhecimento facial quando entram nas instalações ou usam serviços online que têm este tipo de aviso claro.
Essa abordagem vai significar que as pessoas terão a oportunidade de votar com seus pés – ou com seus teclados ou dedões. Estarão informadas, poderão fazer perguntas ou levar seus negócios para qualquer outro lugar se quiserem.
Avaliamos que alguns, incluindo grupos de consumidores, vão argumentar que a lei deva ir mais longe, especialmente quando se trata da questão do consentimento do consumidor. Na Europa, isso já acontece. É importante considerar essas visões. Por exemplo, consentimento para usar o serviço de reconhecimento facial poderá ser plano de fundo para os princípios da privacidade, assim como limitações no uso de dados além da definição proposta inicialmente, e os direitos dos indivíduos de acessar e corrigir seus dados pessoais. Mas, da nossa perspectiva, essa também é uma área, talvez especialmente nos Estados Unidos, onde o novo regulamento pode levar a uma etapa rápida e então nós todos poderemos aprender com as experiências antes de decidir se devemos seguir etapas adicionais.
Protegendo liberdades democráticas e direitos humanos
Terceiro, o uso da tecnologia de reconhecimento facial por um governo pode interferir nas liberdades democráticas e nos direitos humanos. A democracia sempre dependeu da habilidade das pessoas de se reunir, encontrar e conversar e até de discutir suas visões tanto em particular quanto em público. Isto por sua vez depende da capacidade das pessoas de se mover livremente e sem vigilância constante do governo.
Existem muitos usos governamentais da tecnologia de reconhecimento facial que protegerão a segurança pública e promoverão melhores serviços para o público sem gerar preocupações. Já existe um número crescente desses serviços em alguns lugares, e devemos encorajar a subordinação a outras proteções descritas aqui.
Mas existe um uso potencial da tecnologia de reconhecimento facial que poderia colocar nossas liberdades fundamentais em risco. Quando combinada com câmeras onipresentes, alto poder de computação e armazenamento em nuvem, um governo pode usar a tecnologia do reconhecimento facial na vigilância contínua de indivíduos específicos. Pode seguir qualquer pessoa em qualquer lugar ou todas as pessoas em todos os lugares. Pode fazer isso a qualquer momento ou a todo momento. Esse uso da tecnologia de reconhecimento facial poderia desencadear uma fiscalização em massa numa escala sem precedentes.
Sem precedentes, mas não inimaginável. Como George Orwell descreveu em seu livro “1984”, uma visão do futuro exigiria que os cidadãos devessem burlar a vigilância do governo encontrando sua maneira secreta, em um quarto escuro, de tocar em código de sinais de mão nos braços uns dos outros – porque senão câmeras e microfones iriam capturar e gravar seus rostos, vozes e todas as palavras. Orwell esboçou essa visão há quase 70 anos. Hoje, a tecnologia possibilita esse tipo de futuro.
Mas não é inevitável.
Devemos garantir que o ano de 2024 não pareça como uma página de “1984”. Um princípio democrático indispensável sempre foi o de que nenhum governo está acima da lei. Hoje, isso exige que nós garantamos que o uso governamental da tecnologia de reconhecimento facial permaneça sujeita às leis. A nova legislação pode nos colocar nesse caminho:
- Limitar a vigilância governamental contínua de indivíduos específicos. Para a proteção contra o uso do reconhecimento facial em prejuízo da liberdade democrática, a legislação deve permitir que agências de aplicação de leis usem o reconhecimento facial para se envolver na vigilância contínua de indivíduos específicos em espaços públicos somente quando:
- um tribunal de justiça permitir o uso do serviço de reconhecimento facial para determinado monitoramento; ou
- onde houver uma emergência envolvendo um perigo iminente ou risco de morte ou uma pessoa com um ferimento físico sério.
Isso será importante para que os legisladores considerem os padrões para a obtenção de ordens judiciais nesta área. Para a maior parte, nós acreditamos que isso deva ser baseado nas regras tradicionais como causa provável para mandados de busca. Mas pode haver outras circunstâncias que também devam ser permissíveis, como usos apropriados para ajudar a localizar pessoas desaparecidas.
É importante notar que essa abordagem se baseia em decisões recentes da Suprema Corte dos EUA. Em junho, a corte decidiu que o governo não pode obter gravações de celular sem um mandato de busca, e consequentemente as localizações físicas para as quais alguém viajou. Em Carpenter v. United States, o presidente do tribunal, John Roberts, escreveu para a maioria da corte que o indivíduo tem “legítima expectativa de privacidade no registro de seus movimentos físicos” que são gravados no celular.
Apesar de circularmos com nossos telefones em público e compartilharmos nossa localização com nosso provedor de telefonia celular, a Suprema Corte concluiu que nossos registros de localização estão cobertos pela Quarta Emenda à Constituição americana e sua proteção ao nosso direito de estar seguros em nossas “pessoas, casas, papéis e efeitos, contra buscas e apreensões injustificáveis”. Portanto, o tribunal decidiu que o governo não pode rastrear nossos movimentos através de nossos telefones e registros dos locais, a menos que obtenha de um juiz independente um mandado de busca com base na causa provável para acreditar que cometemos um crime.
Nesse contexto, o reconhecimento facial levanta uma nova questão constitucional: nossas faces merecem a mesma proteção que nossos celulares? De nossa perspectiva, a resposta é um sonoro sim.
Como empresa, a Microsoft moveu quatro ações jurídicas contra o governo americano desde 2013 para proteger os direitos de privacidade das pessoas em uma época em que novas tecnologias podem permitir a vigilância em massa. Procuramos repetidamente preservar proteções duradouras – e, em nossa visão, valores atemporais – que estão incorporadas na Primeira e Quarta Emendas da Constituição dos EUA. Do nosso ponto de vista, é importante agir antes que o uso excessivo da tecnologia de reconhecimento facial coloque a nossa liberdade em risco. E enquanto esses problemas chegam à Suprema Corte dos Estados Unidos, como um dos nossos quatro casos em fevereiro passado, eles deveriam começar com as pessoas que são eleitas pelo povo para proteger nossos direitos – nossos legisladores nas capitais dos estados e Washington DC.
Olhando além da lei e da regulamentação
Acreditamos que novas leis e regulamentações são indispensáveis, mas reconhecemos que elas não são substitutas para a responsabilidade que precisa ser exercitada pelas empresas de tecnologia. Em julho, anunciamos que trabalharíamos para avaliar e desenvolver princípios adicionais para governar nosso trabalho de reconhecimento facial. Hoje, avançamos num importante aspecto desse trabalho, publicando os princípios que iremos adotar para o trabalho de reconhecimento facial da Microsoft e enviando feedback para guiar nossas implementações.
Nos últimos seis meses, passamos um tempo considerável buscando informações e conselhos de nossos funcionários, clientes, funcionários públicos, acadêmicos e grupos da sociedade civil. Nos beneficiamos das discussões nos Estados Unidos e ao redor do mundo. Decidimos dar o próximo passo agora, adotando seis princípios que abordam as preocupações que acreditamos que os governos também precisam ter. São elas:
- Justiça. Trabalharemos para desenvolver e implantar a tecnologia de reconhecimento facial de uma maneira que se esforce para tratar todas as pessoas de forma justa.
- Transparência. Vamos documentar e comunicar claramente os recursos e limitações da tecnologia de reconhecimento facial.
- Prestação de contas. Incentivaremos e ajudaremos nossos clientes a implantar a tecnologia de reconhecimento facial de modo a garantir um nível adequado de controle humano para usos que possam afetar as pessoas.
- Não-discriminação. Proibiremos em nossos termos de serviço o uso de tecnologia de reconhecimento facial em discriminação ilegal.
- Aviso e consentimento. Incentivaremos os clientes do setor privado a fornecer notificação e consentimento seguro para a implantação de tecnologias de reconhecimento facial.
- Vigilância legal. Defenderemos proteções para as liberdades democráticas das pessoas nos cenários de vigilância de aplicação da lei e não implantaremos a tecnologia de reconhecimento facial em cenários nos quais acreditamos que colocarão essas liberdades em risco.
Na próxima semana, publicaremos um documento detalhando esses princípios, e trabalharemos nos próximos meses para coletar feedback e sugestões de indivíduos e grupos interessados sobre como podemos implementá-los da melhor forma.
Ao darmos este passo, estamos cientes da necessidade de criar políticas, processos e ferramentas para tornar esses princípios eficazes em toda a nossa empresa. Continuaremos com este trabalho e lançaremos formalmente estes princípios antes do final de março de 2019.
Assim como as questões regulatórias discutidas aqui, estamos adotando uma abordagem incremental com a adoção desses princípios. Reconhecemos que ainda não temos todas as respostas. Dado o estágio inicial da tecnologia de reconhecimento facial, nem sabemos todas as perguntas. Mas acreditamos que adotar uma abordagem baseada em princípios fornecerá uma experiência valiosa que nos permitirá aprender mais rápido. Ao fazê-lo, estamos comprometidos em compartilhar o que aprendemos, talvez mais especialmente com os nossos clientes através de novos materiais e recursos de formação que lhes permitam adotar o reconhecimento facial de uma forma que dê às partes interessadas e ao público a confiança que merecem.
