Sally, e fai musica danzando
Con un sensore collegato alla macchina, fai musica muovendoti
Sulle prime, l’effetto è un po’ straniante. Un uomo balla a ritmo piuttosto frenetico su un palchetto, davanti ad un braccio metallico che funge da sostegno ad un sensore ottico. Mentre si muove, si sente della musica. Nulla di strano, se non fosse che è il ballo a creare la musica e non viceversa.
Si chiama Sally, è un’invenzione del nostro collaboratore (vedi la rubrica “Orrori di calcolo”) Francesco Pisanu, musicista e tecnico informatico, che per sei mesi ha incrociato le sue competenze informatiche e musicali, mettendo insieme un prototipo che potrebbe costituire una interessante innovazione in campo musicale: si tratta di una postazione interattiva in grado di interpretare i movimenti della persona che ne fa uso e di tradurli in suoni musicali.
La realizzazione è costata al buon Pisanu sei mesi che ha definito massacranti: “La programmazione di Sally è stato un esercizio fisico sfiancante: per sei mesi la mia vita non è stata altro che scrivere codici, alzarsi, provare il movimento, risedersi per correggere o ampliare il programma. Tutto questo per centinaia di volte al giorno, tutti i giorni. - racconta Pisanu - Però la soddisfazione di sentire la musica rispondere come volevo ai movimenti è stata una gratificazione impagabile”.
Come Funziona
Chiediamo a Francesco alcuni dettagli sul funzionamento del prototipo.
Come è stata creata Sally?
“Dal punto di vista tecnico, il prototipo è costituito da un sensore di Xbox Kinect One, un sensore della Microsoft che permette di giocare con la console Xbox attraverso i movimenti del corpo, senza far uso di joystick o tastiere: il Kinect è collegato a sua volta ad un computer contenente un programma in grado di tradurre i movimenti del corpo in musica.
Il software originale interpreta l’espressività corporea dell’utente. I singoli movimenti aerobici vengono classificati per direzione, verso, velocità, intensità. Tutti i movimenti vengono tenuti in considerazione: ondeggiamento di testa e bacino, torsioni delle spalle, proiezioni di calci e pugni. I dati vengono poi elaborati da una intensa trama di algoritmi che producono in tempo reale musica orchestrale che cerca di essere sensata e piacevole, e che trasmetta lo stato d’animo espresso dal danzatore. In qualche modo la macchina è in grado di imparare dai gesti dell’utente e adeguarsi alla creatività del ballerino.
Il software è stato sviluppato con il linguaggio di programmazione C# (Si legge “ci sharp”, n.d.r.) e fa uso di un piccolo database per la memorizzazione delle informazioni. I suoni, invece, sono dei MIDI campionati”.
In che modo la creatività del ballerino influisce sul risultato musicale?
“Il risultato migliore si ottiene con movimenti chiari, ampi e ben definiti, diversamente la macchina non percepisce differenze, rispondendo con armonie musicali non soddisfacenti.
Il sistema si basa su tre pilastri: l’uomo, la macchina e una dose di casualità. La macchina sviluppa i suoni e l’uomo cerca di seguirli: in pratica, chi usa la macchina deve “indovinare” le mosse che la macchina si aspetta. Se l’intuizione dell’uomo non corrisponde all’elaborazione che la macchina ha pre-calcolato, la performance perde in qualità. La macchina interpreta i movimenti come dati cui vengono associati strumento e nota. Ed è qui che interviene il caso: non è detto, infatti, che a parità di movimento corrisponda lo stesso suono o nota, perché la componente casuale potrebbe decidere di cambiare il contesto. Va da sé che il sistema non possa essere considerato uno strumento musicale che risponde al 100% allo stimolo umano”.
Hai ricevuto finanziamenti per lo sviluppo del progetto?
“Il Comitato Provinciale per la Ricerca e l’Innovazione, ha assegnato un contributo sulla Legge 6/99, in quanto opera di Information and communication technology rientrante nella tipologia funzionale dell’interazione uomo-macchina. Sally è frutto di collaborazioni tra imprese, professionisti, artisti, artigiani, associazioni. Sono state coinvolte svariate imprese trentine per attività che vanno dallo studio di videografica alla falegnameria: ho potuto verificare un tessuto imprenditoriale e artigianale di eccellenza che ha permesso al progetto di raggiungere alti livelli di qualità.”
Lo spettacolo di presentazione
Sally è stata presentata in un evento musicale il 10 ottobre scorso presso la Sala Filarmonica di Trento, cui hanno partecipato la danzatrice Rossana Liberalesso e i musicisti Catia Borgogno (voce), Luca Rubertelli (sax), Alessandro Bianchini (percussioni) e Stefano Benedetti per le videografiche.
Sally è stata suonata dal suo stesso ideatore, Pisanu, dalla danzatrice e anche assieme ai musicisti: a detta di alcuni spettatori, si rimane incantati dalla magia che fuoriesce da Sally, sia quando questa è “suonata” con grazia e armonia (in particolare nel corso della performance della danzatrice), sia quando suona in sintonia con i musicisti veri.
I possibili utilizzi
Quali sono le possibili applicazioni di Sally, in altri ambiti?
“In primo luogo abbiamo cercato di stabilire dei contatti con le realtà museali locali, per poter mostrare cosa bolle in pentola, dal punto di vista dell’innovazione, qui in Trentino. Ci è sembrato logico proporre Sally al MuSE, ma ad oggi non è stato raggiunto un accordo.
Altra possibile applicazione può essere sicuramente la musicoterapia: lo strumento consente di esprimere il proprio stato d’animo generando aerobicamente la propria musica. Può fornire ausilio nell’alleviare stress e portare benessere, soprattutto in situazioni di deficit motori e stati psico-fisici problematici.
Poi ci sono ampie possibilità di applicazione nella didattica musicale, per sviluppare consapevolezza nei processi di composizione ed interpretazione musicale, oppure per simulare l’esistenza di una orchestra.
Ci sarebbero anche delle applicazioni un po’ più “pop”: qualcosa che si avvicina al karaoke, ma sono embrioni di idee tutti da sviluppare”.