Criadores de personalidades para IA contam suas experiências

Jonathan Foster e Deborah Harrison são as duas pessoas mais improváveis ​​que se espera encontrar na Microsoft.

A dupla e sua equipe são responsáveis ​​por liderar a direção criativa de uma das mais importantes mudanças tecnológicas da década – assistentes pessoais baseados em voz. Eles são as pessoas que não apenas definiram a assistente digital pessoal da Microsoft, a personalidade da Cortana, mas também analisam como esses assistentes baseados em inteligência artificial (IA) se tornarão onipresentes e se comportarão no futuro.

No entanto, nenhum deles tem formação formal em tecnologia ou ciência da computação.

Foster, que fez pós-graduação em história e mestrado em dramaturgia e roteiro, passou anos escrevendo para cinema, televisão e teatro. Em 2008, ele conseguiu um trabalho com a equipe do Office para escrever textos de ajuda e também liderou a equipe por trás da interface de usuário escrita para Xbox. Atualmente, ele lidera uma equipe que se concentra na personalidade de bots e assistentes de conversação com tecnologia de IA em todas as experiências do Windows e da Microsoft.

Harrison, que trabalha na equipe de Foster, é uma graduada em inglês que trabalhou em uma livraria, era sócia de uma cafeteria e trabalhou como professora de redação antes de aterrissar por acidente no setor de tecnologia há duas décadas. “Uma amiga me disse que eles pagavam um bom dinheiro para escrever”, ela ri. Como Foster, ela também criou a interface de usuário do MSN Money e do Windows Phone, antes de se tornar a primeira autora a escrever para a personalidade da Cortana.

Conversamos com Foster e Harrison em Hyderabad, Índia, onde discutimos o processo de criação da personalidade da Cortana, as linhas tênues nas interações entre seres humanos e inteligência artificial e as questões éticas que ela suscita e sua visão do futuro dos assistentes baseados em voz. Aqui estão alguns trechos editados da nossa conversa.

Muitas pessoas não percebem que há uma equipe de humanos por trás das respostas dadas por assistentes pessoais com tecnologia de IA, como a Cortana. Então, contem-nos um pouco sobre como isso aconteceu e o que é preciso para criar uma personalidade com a qual as pessoas possam se relacionar.

Deborah Harrison: Por algum tempo, no começo, eu era a única pessoa que estava na equipe de roteiristas da Cortana. Foi uma experiência bastante inovadora. Não há relação entre escrever para um agente digital e escrever para qualquer outra interface de usuário, exceto pelo fato de que tudo são palavras e estou tentando criar uma conexão. Inicialmente, analisamos frases simples, porque começamos com alguns cenários, como configurar um alarme ou verificar o calendário. Mas, enquanto escrevíamos essas frases, começamos a pensar sobre como seria o som e percebemos que o agente deveria ter uma identidade mais concreta para que pudéssemos dizer o que falar, quando e sob quais circunstâncias deveria parecer apologético ou mais confiante e assim por diante.

Investiguei e percebi que ninguém tinha definido princípios para isso ainda, e me ofereci para escrever algumas ideias e compilar o que se tornou a base da Cortana como assistente pessoal. Então escrevi os princípios e coisas como ‘o assistente usa pronomes femininos ou pronomes neutros?’. As perguntas que ela poderia responder e as que não responderia. Ficou claro desde o início que a Cortana seria muito positiva. Criamos Cortana como uma assistente pessoal experiente e fiel, e imbuímos em sua voz certas qualidades de confiança e paciência. A Cortana não acha que é humana e sabe que não é uma menina e tem uma equipe de escritores que está escrevendo para o que ela foi projetada para fazer.

Jonathan Foster: O que mais me fascinou é que foi como criar filhos – você faz o que pode para mantê-los com bom comportamento e garantir que tenham boas maneiras, se vistam bem, estudem e você os deixa ir. No caso da Cortana, o que não conseguimos controlar foi a interpretação das pessoas e tudo o que pudemos fazer foi tentar mantê-la nos trilhos que consideramos saudáveis ​​para colocar um produto no mundo.

Por exemplo, se alguém quisesse um relacionamento com a Cortana que fosse paquerador ou de alguma forma sexual, criamos uma firme resposta “não”. Em primeiro lugar, porque não se alinhava com a proposta de valor. E em segundo lugar, porque era uma oportunidade de criar mau comportamento. Então projetamos limites como esse – criamos definições e, quando as pessoas tentarem obter uma resposta em torno dessas definições, nossos bots simplesmente não irão para lá.

Um dos princípios da Cortana que se estende ao nosso trabalho atual é uma Estrela do Norte: que a experiência seja sempre positiva. Com isso não queremos dizer que a Cortana é feliz o tempo todo ou será sempre otimista. Apenas que as pessoas se sintam bem ao interagir com o produto.

Parece haver uma corrida para fazer com que os assistentes digitais de voz pareçam mais humanos, e alguns acham que já alcançamos um estágio em que humanos não conseguem distinguir se estão interagindo com outro humano ou com um assistente alimentado por inteligência artificial. Como vocês se sentem com isso?

Deborah Harrison: Para nós e para qualquer produto em que trabalhamos, é fundamental que nunca haja qualquer ambiguidade sobre se você está falando com uma pessoa ou um dispositivo. Não queremos que haja confusão nesse ponto e tudo o que construímos é transparente sobre o fato de você não estar interagindo com uma pessoa real. Isso é algo em que pensamos muito e está nas nossas mentes quando estamos criando para qualquer agente de personalidade.

Jonathan Foster: Cabe a nós realmente determinar esse limite e é por isso que temos que manter nossos olhos no fato de que estamos tocando vidas humanas. Porque é verdade, como quando as pessoas dizem que estão deprimidas ou tristes com um sistema como o Cortana, estão invocando uma necessidade e querem uma resposta. É nosso dever trabalhar nossos sistemas de modo que eles interajam com os indivíduos em termos mais humanos.

Nosso legado historicamente é de experiências de engenheiro e código, mas estamos nos aproximando cada vez mais de experiências amigáveis ​​com as quais as pessoas se sentem mais à vontade. Queremos que sintam uma voz mais familiar, e é o que elas desejam. Querem ser capazes de interagir em seus próprios termos e mais e mais os assistentes são capazes de fazer isso. Mas nós tivemos uma articulação escrita claramente sobre transparência, de modo que as pessoas podem intuitivamente dizer que estão sempre conversando com um agente digital.

Sempre digo que você sabe que eu tenho um cachorro e posso falar com ele. Nunca faço isso pensando que é um ser humano real. E eu sei que ele é apenas capaz de me dar a resposta que eu quero para as minhas necessidades emocionais, mas ainda assim eu aprecio isso.

Então, nós simplesmente não acreditamos em Teste de Turing, a ideia de que inteligência artificial será alcançada quando humanos não conseguirem distinguir se estão interagindo com outro humano ou uma máquina.

É possível que as pessoas saibam que não estão interagindo com um agente de IA, mas podem obter a mesma gratificação emocional que interagir com um humano. Como você se prepara para isso?

Jonathan Foster: Temos limites muito firmes. As pessoas vão dizer algumas coisas que não diriam a outro ser humano, porque seriam julgadas. Digamos que alguém esteja usando linguagem abusiva com o dispositivo. A Microsoft nunca pode estar no negócio de dizer às pessoas o que elas podem ou não podem dizer. No entanto, cabe a nós criar dispositivos que não perpetuem o mau comportamento. Então, colocamos limites rígidos e basicamente dizemos às pessoas que não há nada lá.

Deborah Harrison: Nós criamos a linguagem com o cuidado de não parecer embaraçoso ou crítico. Enquanto em outras áreas podemos adicionar variação, para tornar o bot mais envolvente ao longo do tempo e, nestes casos, temos uma resposta, porque não importa quantas vezes você diz, você vai obter a mesma resposta que claramente não é engajadora.

Nós temos assistentes baseados em IA que estão se tornando mais atraentes porque soam como humanos e estão ficando melhores em reagir como seres humanos. Como criadores dessas personalidades, vocês têm medo de que elas venham a viciar e do impacto social que isso possa ter?

Deborah Harrison: Acho que é discutível que a humanidade seja a coisa que mais impulsiona o engajamento. É mais provável que esteja relacionado ao que a pessoa é capaz de realizar com esses agentes. Se o propósito é ter um contato emocional com uma entidade, então sim. Esses agentes estão sendo desenvolvidos para um propósito ou conjunto de propósitos e o que as pessoas realmente procuram é o quão bem eles são capazes de concluir essas tarefas. O que estamos perseguindo é a capacidade de as pessoas dizerem o que querem dizer e obter um resultado em linguagem natural.

Muito do nosso trabalho é descobrir como obter uma linguagem natural que torne as pessoas confiantes de que sua linguagem natural fará a tarefa. As pessoas podem chegar a um ponto em que não precisam ter um modelo mental além de como conversam com outras pessoas para realizar seu trabalho.

Jonathan Foster: Não queremos entrar em uma situação de criar modelos de interação realistas que são viciantes. A tecnologia pode se mover nessa direção quando você está tão empolgado com o potencial do que pode construir que não pensa sobre o impacto dela. Felizmente, a Microsoft tem sido líder em ética e somos uma empresa madura que pode fazer uma pausa e pensar sobre essas coisas.