Arte visual interpretada com som para uma experiência mais inclusiva

Por Vanessa Ho //

Conhecido pintor de paisagens escocês, Keith Salmon cria pinturas abstratas etéreas e melancólicas de horizontes e montanhas inspiradas nas acidentadas terras altas de seu país. Especializado em belas artes e escultura, Salmon ampliou suas técnicas durante anos à medida que sua visão diminuía, aprendendo como utilizar as tintas para criar texturas e rabiscar com lápis pastéis para evocar menos uma descrição do lugar e mais uma experiência interessante da natureza.

No mês passado, Salmon, que é legalmente cego, estreou uma instalação com uma inovadora pesquisa da Microsoft que enriquece ainda mais a arte, com áudio proxêmico para interpretar imagens bidimensionais com som. Chamado “The Oregon Project“, o projeto utiliza quatro Kinects, 15 alto-falantes e 54 trilhas sonoras para produzir uma interpretação acústica e espacial de três desenhos feitos por Salmon de uma belíssima área remota do Hells Canyon, no Oregon (EUA). A estreia da instalação aconteceu em Seattle, na exibição de arte e tecnologia 9e2, como uma poderosa forma de Salmon criar e de proporcionar a pessoas com pouca visão a possibilidade de aproveitar a arte visual.

“É ótimo pensar que, em poucos anos, poderemos ir a um museu ou galeria de arte e essa tecnologia estará lá como parte da experiência”, afirma Salmon, que começou a perder a visão nos anos 1980 por conta de uma retinopatia diabética. Com a visão limitada a uma pequena porção em um olho por muitos anos, ele pôde se adaptar, pintar e caminhar tendo sua parceira Anita Groves como guia. Você pode assistir o vídeo com a audiodescrição aqui.

Em frente a cada pintura, há um espaço 3D contendo 18 trilhas sonoras que podem ser reproduzidas. Os Kinects rastreiam o movimento para acionar sons diferentes, fazendo a arte viva e interativa para pessoas com e sem visão. De longe, observadores podem ouvir sons de pássaros e da grama balançando ao vento – gravados no Hells Canyon por Salmon e seus colaboradores.

A aproximação das pessoas ativa tons digitais que equivalem à paleta de azul, verde, marrom e ocre de Salmon. Fique ainda mais perto e você poderá ouvir Salmon trabalhando em seu estúdio, à medida que ele usa os giz pastéis no papel, em uma experiência que traça paralelos sobre como uma pessoa que enxerga pode ver os detalhes ao se aproximar mais. Os Kinects também rastreiam movimentos de mãos para mudar o que você ouve, ajudando os observadores a se tornar parte da peça e fazer suas próprias remixagens com o movimento. Na exibição, adultos acionam os sons principalmente ao andar, enquanto as crianças pulam e sacodem os braços para criar uma mistura diferente de ruídos.

“Como uma forma de se mover de camadas exteriores para interiores de um desenho, sons naturais em sons industriais funcionam muito bem”, afirma Salmon. “Era uma sensação maravilhosa, atmosférica, espacial, uma sensação que remete à paisagem que reúne tudo.”

O sistema sonoro é baseado num projeto experimental chamado Eyes-Free Art, criado pelos pesquisadores da Microsoft Neel Joshi e Meredith Ringel Morris e o ex-estagiário Kyle Rector, feito para explorar como a tecnologia pode ajudar pessoas com baixa visão a ter acesso a artes visuais.

Muitos museus oferecem experiências para deficientes visuais, de descrições de áudio detalhadas de arte a eventos especiais nos quais as pessoas podem tocar em esculturas com mãos enluvadas. Mas os pesquisadores querem criar uma experiência mais personalizada que ainda seja comum e algo menos direcionada e curada por docentes.

Após explorar ideias diferentes, eles decidiram criar um sistema de som acionável por Kinect baseado em proxêmica, o estudo de como pessoas usam espaços para definir interações sociais. E eles querem que os sons e visuais sejam igualmente estéticos e importantes e rejeitam quaisquer coisas que pareçam uma ferramenta de acessibilidade remendada.

“Exploração visual é uma experiência pessoal e está baseada na distância – conforme nos aproximamos, vemos diferente tipos de detalhes –, por isso queremos mimetizar essas ideias em áudio”, afirma Joshi, que se especializou em visão e fotografia computacional. Ele também é pintor e artista de instalações interativas envolvido com a comunidade de artes locais.

Microsoft researcher Neel Joshi no sistema de som habilitado pelo Kinect do “The Oregon Project.”
Neel Joshi, pesquisador da Microsoft, trabalha no sistema de som habilitado pelo Kinect do “The Oregon Project”

No ano passado, os pesquisadores convidaram pessoas com pouca visão a testar um protótipo construído com música, narração e sons programados interpretando acusticamente pinturas de Frida Kahlo, Henri Matisse e outros. Aqueles que testaram gostaram da experiência, e uma mulher, uma amante da arte que havia parado de ir às galerias após perder a visão, chorou de alegria. Mas a equipe sabia que o sistema não era “arte”. Eles sabiam que precisavam fazer mais.

Ao se conectar com artistas locais, Joshi começou a trabalhar com Salmon para criar uma nova obra do artista com a pesquisa da Microsoft. Eles colaboraram com o cineasta e fotógrafo de Seattle Dan Thornton, o engenheiro de som escocês Graham Byron e o organizador da 9e2 John Boylan para exibi-lo no evento de instalações e performances em artes, ciências e tecnologia 9e2. Apesar desse projeto em particular ter sido experimentar e não haver planos imediatos para fazer com que esteja disponível para o público, os pesquisadores preencheram uma patente pelo Eyes-Free Art e esperam continuar a produzir experiências mais acessíveis e artísticas.

Amos Miller, um pesquisador da Microsoft com deficiência visual que trabalha com o grupo de Acessibilidade da empresa, chama a instalação de “inerentemente inclusiva”, permitindo que ele e outros experimentem arte pessoalmente e socialmente, da forma que o artista pretendia.

“É evidente que você pode criar experiências realmente positivas e inclusivas”, afirma Miller, que faz parte do projeto Cities Unlocked, que cria ambientes sonoros 3D para ajudar pessoas com pouca visão a navegar em seus arredores.

Para Sheri Richardson, presidente do grupo de advocacia de Seattle Vision Loss Connections e cega desde a infância, a instalação era uma forma vibrante e sensível para explorar a arte de diferentes perspectivas e não confiar na interpretação de outra pessoa. Ele gosta especialmente de poder visualizar o artista nas montanhas com os sons de Hells Canyon.

“A tecnologia dos Kinects e o som que se move por você à medida que você se move nas pinturas realmente faz com que seja uma experiência e aflorem emoções”, afirma Richardson.

vision-loss-connections
O artista Keith Salmon diante de suas pinturas do Hells Canyon no “The Oregon Project”

Para Salmon, cuja visão limitada começou a deteriorar mais nos últimos anos, Eyes-Free Art lhe deu esperança de continuar sua carreira artística por muitos anos.

“Tem sido maravilhoso”, ele diz. “Eu tenho um futuro agora. Se minha visão continuar piorando, eu posso continuar fazendo arte e desenhando com som. É um caso de aprender e se adaptar.”

“The Oregon Project” será exibido na Tent Gallery na Faculdade de Arte de Edimburgo, na Escócia, em abril de 2017.

Vanessa Ho faz parte da equipe do Microsoft News Center.

Na foto do alto: O artista Keith Salmon (à esq.) e o pesquisador da Microsoft Neel Joshi diante do “The Oregon Project” na estação King Street, em Seattle (Fotos: Dan DeLong)

 

Tags: , ,

Posts Relacionados