Esthesia

A nossa aplicação consiste numa instalação interativa de entretenimento que nos permite, tal como o título “Esthesia” nos indica, sentir. Desta forma dá uma ideia de realidade virtual que nos cria a ilusão de quase sentirmos as letras com o corpo. É um misto de sensações audiovisuais que inclui dynamic typography, som, manipulação direta e até mesmo diversão.

A aplicação inicia quando o utilizador interage e bate uma palma que atinge uma determinada frequência. A partir daí a aplicação inicia e transporta-nos para um ecrã onde nos podemos ver e interagir com várias letras que vão “chovendo”.

A nossa aplicação tem influência nos trabalhos de tipografia de Herry Yeomans e Syddhart Mate, e nas animações de Camilla Utterback e Romy Achituv, Andrew Weatherall e Dirk koy Bild und Bewegung.

Technical Rider

A Aba principal onde começamos por importar duas bibliotecas, a de som e a de vídeo. A frequência de som começa por ser definida utilizando o Audio Input. Inicializámos a webcam e definimos variáveis para o tamanho da mesma. Chamamos as “drop letters” e definimos o seu intervalo e a posição das letras.

No void draw() utilizamos um fill(204,24) (espécie de cinzento), um rectângulo do tamanho do ecrã e novamente um fill(0) (preto), para criar o arrasto da palavra “clap” e fazemos um pushMatrix para, aleatoriamente, o ângulo dessas mesma palavras se alterarem.

Usamos uma condição que consiste em, caso a frequência do som recebido pelo Audio Input seja maior ou igual (>=) que 200, a webcam é inicializada assim como os pixels criados pela imagem e a “chuva” de letras.

Há uma aba que trata da determinação da frequência importada do Audio Input.

E uma outra onde está determinado o número máximo de letras permitidas no texto, mais o número máximo de letras que pode ser imitido. É definido o texto que irá aparecer na “chuva”.

Criou-se a class Droplet onde define a sua posição inicial, a velocidade e a aceleração. Adicionamos um void fall(Capture vídeo) para definir que caso a letra passa para fora do ecrã, volta ao início. Por fim definimos que a deteção da colisão do “corpo” do utilizador com as letras, onde dependeria do brilho.

Rainé uma aAba que trata de fazer a atualização da chuva com a webcam.