Dato che, strano ma vero, ho ricevuto richieste di vedere il software che ho sviluppato, ho pubblicato tutto qui.

Andate e prendetene tutti.

Clicca qui per vedere il video incorporato.

Con tutto questo tremare di terra, dopotutto, mi è un po’ passata la voglia di fare il post in cui tiravo le somme, quindi mi limito a comunicare che ho finito la tesi — dove per “finito” si intende che è tutto da rifare da capo ma che almeno la demo è andata bene e comunque mi mancano due esami — e che sabato mattina mi attende l’avione per riportarmi a zompettare per gl’italici lidi — oltre a sottolineare che il terremoto non è mica venuto perché ho finito la tesi, razza di malelingue…

Mi piacerebbe pubblicare la relazione in cui riassumo per filo e per segno i sei mesi che ho passato qui all’MTG, ma sto cercando di trarre un paper da inviare a SMC [1] per cercare di raggranellare qualche punto in più per quando farò domanda di dottorato. In compenso credo di poter pubblicare qualche foto e qualche video — almeno spero, ma qua pare che durante il trasloco ci siano stati gli sciacalli che si sono rubati la videocamera…

Per tutto quello che ho imparato, sia dal punto di vista tecnico che, e soprattutto, circa le diversità di rapporti e gestioni di fatti e cose in un pezzetto di Terra diverso dall’Italia, probabilmente non mi sarà sufficiente una vita per raccontarlo e rimetterlo in pratica, quindi voi intanto cominciate a farvene una ragione, che poi si vedrà.

Per tutto il resto, dicono, c’è Mastercard… tranne in Spagna dove le carte Maestro sono praticamente inutili.

1. La scadenza è il 17 Aprile ma prima di un mese non si saprà se l’accettano o meno, quindi almeno fino ad allora non credo di poterlo diffondere a causa del processo di valutazione.

Dice: “questo era alto venti centimetri quando l’ho preso, e stava comodissimo sopra il monitor: praticamente è la mia storia con l’informatica”.

Allora, eravamo rimasti al video figoso in cui io disegnavo delle cose in rosso e poi i rettangolini blu diventavano bianchi, giusto? WordPress mi conferma che è così, e quindi c’è una parte che manca all’appello.

Tanti piccoli accordi

Discutendo col prof — che infine ha dovuto mettermi un freno ché sennò gli fornivo idee per tre anni di progetti e non era bello — siamo giunti a due idee:

1. la mia proposta iniziale era di selezionare un accordo di base (es. G#7) poi selezionare uno stile musicale (es Blues) e poi selezionare una delle possibili progressioni Blues che cominciano — o contengono in qualche posizione — l’accordo selezionato. L’idea sarebbe stata anche buona ma effettivamente incasinata;
2. la sua controproposta è stata di costruire attorno al Tonalizer un “chord set”, ossia un insieme in cui l’utente inserisce degli accordi a sua discrezione, ordinabile, cioè che lui per conto suo si comporta come un insieme nel senso matematico, però sui suoi elementi si può costruire una sovrastruttura ordinata, che a noi che ci piace il pane con la soppressa piacerà chiamare “sequenza”. Questa sequenza andrà quindi suonata con tempi da definire, ma suppongo si andrà di multipli non per forza interi della battuta.

A quel punto la mia controcontroproposta è stata di non abbandonare per forza l’idea iniziale ma di semplificarla, nel senso che l’utente inserisce un accordo, questo viene preso come accordo di base (cioè, il primo di una progressione) e si mostrano tutte le progressioni che possono cominciare con quell’accordo. Poi l’utente ne inserisce un altro e si mostrano tutte le progressioni che cominciano con l’accordo di base e contengono da qualche parte il grado/modo del nuovo accordo relativo a quello di base, e via così col terzo, il quarto e tutti gli accessori.

Inserire gli accordi

E qui viene la parte interessante. Ci sono due paradigmi principali sul reacTable, che sono l’interfaccia tangibile di cui ho già parlato, e l’interfaccia a strisci e ditate di cui è pieno il mondo, YouTube e anche gli scaffali dei negozi. Per cui uno potrebbe pensare di sviluppare una serie di oggetti a rappresentare accordi, accidenti, gradi, modi, il tutto gioiosamente componibile in catene e… e dopo il terzo accordo è finito lo spazio sul tavolo.

L’opzione due è appena un po’ più vecchia dell’homo sapiens, e cioè si tratta di usare le dita per scrivere nomi, accidenti, gradi, modi e tutto quanto — dove per “tutto quanto” intendo la scelta di stili e progressioni, nonché la costruzione della famosa sequenza. Bello, dice. Mica facile, però. Questa eventualità va sotto il nome di handwriting recognition e ci sono sostanzialmente due sistemi su cui fare affidamento:

• data un’immagine con le scritte da riconoscere, si applicano le ben note tecniche di riconoscimento ottico (il famoso OCR) basate su algoritmi di varia complessità che vanno dalle più semplici correlazioni alle più sofisticate tecniche per la ricerca i feature invarianti alle trasformazioni.
• data una spezzata definita per punti sul piano 2D, si possono applicare varie tecniche più o meno fantasiose, a partire dalla ricerca di similarità tra NURBS fino a simpatiche deviazioni del problema della visibilità.

La mia situazione è questa: reacTIVision rileva le ditate e ne trasforma il movimento proprio in sequenze di punti. La seconda via è evidentemente la mia via, motivo per cui da un po’ di giorni mi sto industriando per cercare quanti più metodi diversi riesco a trovare. Averne più di uno mi garantirebbe due vantaggi: primo, inserire un po’ di algoritmica un minimo sofisticata per contentare chi non vive senza; secondo, poter confrontare i vari sistemi in termini di facilità d’uso, flessibilità e velocità. Per ora mi sto concentrando su un sistema di similarità tra NURBS e un sistema basato su superfici non convesse costruite  per triangoli.

• NURBS: l’idea di base è di costruire dei modelli di riferimento, uno o più per ciascun glifo diverso, e usarli per confrontare la NURBS costruita dai dati ricevuti dall’utente. In verità non voglio confrontare veramente le curve ma solo il loro guscio convesso formato dai punti di controllo. Supponendo di usare i punti che arrivano da reacTIVision, questo sono tipicamente tanti e sparpagliati, in generale molto diversi da un modellino bello come questo:(non è che questo sia bellissimo, ma è meglio di niente). Il trucco starebbe nel calcolare un’approssimazione della curva inferta dall’input umano con un certo numero fissato di punti di controllo il più possibile equidistanti tra loro. La domanda è: qualcuno ha idee? Perché, una volta che questo è possibile in modo sufficientemente veloce, posto che i glifi di riferimento siano stati costruiti in modo analogo, allora diventa molto facile confrontare punto per punto l’input con la lista dei glifi, diciamo nell’ordine di m·n passi con m il numero di glifi ed n il numero di punti di controllo.
  Ci sono diverse condizioni problematiche, tra cui come allineare la coppia per il confronto. Per esempio scegliendo di far combaciare i due estremi, si deve per forza ripetere due volte il confronto per ogni coppia, nel caso gli estremi venissero scambiati: con un po’ di immaginazione dovreste riuscire a capire cosa intendo guardando l’esempio sopra. Un altro problema derivante dall’allineamento degli estremi è l’imprecisione dell’utente che può far variare anche di molto il punteggio. Tuttavia sono fiducioso circa la buona diversità tra i glifi.
• Superfici triangolate: il secondo metodo su cui mi sto concentrando consiste nel prepare dei modelli in questa forma: e poi guardare quanti punti dell’input cadono dentro la superficie. Con questo metodo il problema dell’allineamento è ancora peggiore: occorrerebbe individuare dei punti nei cui intorni possono situarsi gli estremi dell’input. Tuttavia, una volta scelto un “buon allineamento”, la robustezza all’imprecisione dell’input è nettamente superiore (e modulata dalla larghezza della striscia) e c’è anche il vantaggio che non si devono fare calcoli complessi con polinomi di grado elevato bensì un più rapido e veloce test di appartenenza — velocità comunque mitigata dal fatto che ogni punto va testato con ciascun triangolo o al più con un “intorno” di triangoli. Il punto sta tutto nel trovare detto buon allineamento.

Naturalmente se avete suggerimenti a riguardo — anche per altri metodi sulla piazza — io sono disponibile e, in caso, vi guadagnereste un posto tra i ringraziamenti.

Gestire il set

Una volta costruito il set, costruire la sequenza è un compito abbastanza semplice: il dito collega gli accordi con una sorta di spezzata, reacTIVision fornisce il percorso del dito per punti con associata anche la velocità del dito in ogni punto. Assumendo che il dito “rallenti” quando fa tappa su un accordo, si può usare questa informazione per costruire la catena. O qualcosa del genere, ci penserò più avanti. La gestione automatica di stili e progressioni invece è molto più facile, si può sviluppare con una combo di glifi alfanumerici e liste visualizzate sul tavolo.

Sì, insomma, di cose da fare ce n’è. Mi sono fissato il 9 febbraio per avere tutte queste meraviglie pronte per il test — anche se più realisticamente la fine dello sviluppo cadrà nella relativa settimana e non proprio quel lunedì. E poi si vedrà, fino al 9 aprile c’è tempo per inventarsi altre meraviglie.

Clicca qui per vedere il video incorporato.

Questa volta niente webcam, ho usato recordMyDesktop per lo screencast e mencoder per convertire il tutto da ogv a xvid, dato che avidemux, che ho usato per tagliare testa e coda del filmato, l’ogv non lo legge.

E per i più curiosi, il codice da scaricare. Occhio ché questa volta è ancora più difficile: dovete avere Boost, che ho usato per la matrice che tiene lo stato dell’interfaccia, oltre che Qt 4.4 — e l’ho perfino commentato!

strokes-3.tbz2 (4.8 kB)

Poi, quando sono tornato, avevo voglia di dare più un look da reacTable al gesture detector del post scorso, anche per far capire a cosa serve. Il risultato è questo qui:

Clicca qui per vedere il video incorporato.

PS: Il codice è penoso, stavolta non ve lo lascio… tanto non è che sia tutta questa diversità…

Così ho pensato, anche dato che non ho più prodotto niente a riguardo, di buttare giù un prototipo per il pitch sequencer di cui avevo già parlato, cioè questo qui:

In un paio d’ore scarse, semplificando questo esempio, il risultato è già abbastanza notevole… il video un po’ meno, ma stavo tenendo la webcam con una mano mentre con l’altra disegnavo e con un occhio tenevo sotto controllo che la ripresa fosse abbastanza dritta, ma se qualcuno volesse fare colla e regalarmi qualcosa del genere, il cavalletto ce lo metto io.

Clicca qui per vedere il video incorporato.

Prossimo passo: disegnare lo sfondo figoso e far accendere i bottoni di conseguenza. Per i più curiosi metto a disposizione il sorgente. Occhio che è un po’ specifico come richieste (mica tutti, forse, hanno già le Qt-4.4).

strokes-1.tbz2 (3.2 kB)

Oggi c’erano le porte aperte alla UPF, presentavano le varie attività al popolino e il salone preposto era strapieno di gente che blaterava cose in catalano. Così mi sono diretto nella saletta del reacTable sperando che non ci fosse ressa — ah, beata ingenuità — e la gente faceva proprio le bizze, si strappava i capelli, scene di isteria, tutti a sommergere tutti di domande (compreso me quando hanno capito che qualcosina ne sapevo — tranne il catalano, ovviamente, ma quello l’hanno capito troppo tardi) e tutti uscivano felici e contenti.

Io dico che se facevano una cosa del genere a Padova, anche solo con la RoboCup coi cagnolini che giocano a calcio, la reazione era “tagliatevi i capelli e andate a lavorare”.

Ora inizia la parte per chi sa cos’è un Lolcat, gli altri possono saltare oltre. In breve, alle 16 entro nello studio di registrazione, mi guardo in giro, non vedo nessuno, faccio per uscire e mi trovo dietro il tipo suddetto, alché di botto gli faccio “O HAI” e lui mi risponde “I MADE YOU A COOKIE”.

Vabè, non ha detto proprio così, comunque i biscotti c’erano davvero — lui me ne ha solo offerto uno — e io O HAI l’ho detto davvero, è che subito mi è sembrata assolutamente una scena da Lolcat. Fine della parentesi, veniamo alla parte interessante

La sessione di ascolto consisteva nell’ascoltare alcuni frammenti di cantato di cui non si sapeva a priori se era una voce vera o una voce sintetica realizzata con vari algoritmi allo stato dell’arte. Il questionario chiedeva di valutare alcuni parametri, tipo se comunicava emozioni, se era nasale, se si riteneva che il cantante fosse bravo eccetera. Ho un po’ di esperienza nell’ascoltare voci sintetiche, per cui mi è stato abbastanza facile individuarle — per dire, c’era quella simpatica e famosa sequenza di acuti [1] dell’aria della Regina della Notte che manda in crisi più di una cantante, e nel segmento che ho ascoltato erano riprodotti con una tale precisione e con un attacco troppo lento per essere una vera voce. Solo una mi ha mandato completamente in palla: il segmento con la voce vera era il successivo e quando me ne sono accorto (al confronto la differenza è sottile ma percepibile) sono rimasto letteralmente basito: il calore, la passione, le sfumature del flamenco e le imprecisioni delle voci non istruite proprio non sono facili da fingere.

Eppure, io ho l’impressione che ormai anche la East West Symphonic Orchestra sia superata e comincio a temere per la già cagionevole salute della qualità dell’industria musicale.

1. Qui a 0:50.