Genvirtual: realidade aumentada musical como auxiliar no processo de reabilitação

A evolução tecnológica vem favorecendo para que sistemas computacionais respondam a toques, gestos e voz. O ambiente externo ao computador pode ser capturado pelo hardware por meio de softwares específicos auxiliados por dispositivos como câmeras e sensores. A realidade virtual e aumentada são exemplos de tecnologias que possibilitam criar ambientes virtuais diferenciados para usuários incapacitados de utilizar periféricos convencionais como teclado e mouse. Por meio da realidade aumentada, por exemplo, é possível trazer objetos virtuais tridimensionais para o mundo real do usuário propiciando seu manuseio de forma natural (com as mãos), sem necessidade de treinamento prévio e adaptações nas mãos para pessoas com baixa mobilidade ou deficiência física. Além disso, a realidade aumentada vem se mostrando um instrumento de entretenimento e diversão para as crianças por se tratar de um ambiente atrativo que desperta a curiosidade e imaginação.

Pesquisadores da Escola Politécnica da USP desenvolveram um ambiente de realidade aumentada denominado GenVirtual que possibilita adicionar no mundo real objetos virtuais musicais que simulam sons de diferentes instrumentos musicais de corda, sopro e percussão. O GenVirtual tem como principal objetivo restabelecer ou melhorar funções motoras (coordenação, equilíbrio, mobilidade e sincronização) e cognitivas (atenção, memória, concentração, raciocínio e percepção sensorial) por meio de experiências musicais de criação, reprodução e audição sonora e musical, jogos de siga-sons-e-cores e brincadeiras rítmicas. Os sons são percutidos tocando os elementos virtuais com as mãos como mostra a Figura abaixo.

Dessa forma, um indivíduo portador de uma mão extremamente hipotônica, por exemplo, poderá utilizar o GenVirtual em sessões de musicoterapia. Normalmente, estes indivíduos não são capazes de manter seus dedos fletidos sobre o teclado, ou não possuem força muscular suficiente para percutir os instrumentos de percussão. Nestes casos, é comum o uso de adaptações como ponteiras nas mãos para percutir as teclas do piano, fixadores de pandeiro para uso bimanual das mãos, bem como o auxílio indispensável do musicoterapeuta. Com GenVirtual é possível criar sons de diversos instrumentos de percussão (sem aplicar força muscular), apreciar os sons das notas musicais em diferentes timbres dos instrumentos de corda (violão, guitarra, piano) e instrumentos de sopro (flauta, gaita, saxofone).

A adição dos objetos virtuais no cenário real ocorre através do reconhecimento dos símbolos musicais impressos em papel comum (cartões). Os cartões podem ser impressos em diversas cores e tamanhos e posicionados na mesa de acordo com o desafio motor desejado. A identificação dos símbolos dos cartões ocorre por meio de processamento das imagens, capturadas por uma webcam, conectada ao computador. Quando o símbolo do cartão é reconhecido, o GenVirtual cria um objeto virtual tridimensional associado ao som do respectivo cartão.

O GenVirtual vem sendo utilizado por pacientes com distrofia muscular de Duchenne e terapeutas da Associação Brasileira de Distrofia Muscular (ABDIM). Segundo a coordenadora do setor de Terapia Ocupacional da ABDIM, Adriana Nathalie Klein, o GenVirtual é motivador para pacientes e terapeutas pois permite maior interatividade. “Antes entediante, o exercício ficou mais atraente e, assim, paciente e terapeuta interagem significativamente melhor”.

Na Associação de Assistência à Crianças Deficientes (AACD), o GenVirtual vem sendo utilizado por crianças com paralisia cerebral no setor de musicoterapia. Segundo a coordenadora do setor, Sra. Marilena do Nascimento, o GenVirtual tem possibilitado a aprendizagem de símbolos (impressos nos cartões), criação de melodias inéditas ou conhecidas a partir da representação da nota musical por um objeto virtual, treino motor repetitivo e motivado pela resposta sonora identificada como “fazer musical”,  planejamento e reprodução de peças  musicais mais sofisticadas ampliando as funções cognitivas como atenção, concentração e  memória.

Texto: Ana Grasielle Dionísio

P.S: Ana, muito obrigada por usar teu tempo corrido para nos mandar o texto. Gente, a Ana é engenheira e esse é o trabalho dela do Doutorado, legal não? Aplausos! =D

Ana Katharina Leite

Popularity: 4% [?]