Musikkappen "Klappeslange" - semesteroppgave i MUS2830, h?st 2014
Innhold:
1. Innledning
Id?en til denne appen fikk jeg en dag jeg var p? jobb. Jeg jobber i en tilrettelagt bolig for psykisk utviklinghemmede, og en til flere av brukerne jeg har jobbet mye med liker ? klappe og trampe. Vedkommende kan trampe lenge og uavbrutt, og jeg regner med at aktiviteten i hovedsak er et uttrykk for glede, men noen ganger har det kunne virke som at det ogs? er et uttrykk for kjedsomhet og understimulering. Etter ? ha f?tt litt kunnskap om Pure data fikk jeg alts? id?en om et program som kunne fange opp klappe - og trampelydene via mikrofonen p? enheten og trigge dette instrumentet. Tanken er at mennesker som har problemer med ? spille p? en instrumentapp p? en smart-telefon eller et nettbrett med touch, enten pga. motorikk, celebral parese eller andre ?rsaker kan spille med klapping eller tramping. Eller ? avlede oppmerksomheten til mennesker som i utgangspunktet klapper eller tramper (eller lager andre repetive lyder) pga. kjedsomhet. En slik app kan potensielt ogs? v?re akuell for andre m?lgrupper, f.eks. barn. Jeg har valgt ? kalle denne appen "Klappeslange".
1.1 Problemstilling
Problemstillingen jeg har formulert meg lyder: Hvordan utforme en musikkapp som kan styres ved hjelp av klappelyder?
1.2 Programmer og ressurser
To programmer har jeg brukt for ? lage appen "Klappeslange". Det ene heter Pure Data og er et et visuelt programmeringsverkt?y hvor man lager programmer som har med lyd og musikk ? gj?re. Pure Data finnes b?de for Windows og Mac og kan lastes ned her. I emnet Interaktiv musikk (MUS2830) har jeg l?rt det grunnleggende for hvordan man h?ndterer Pure Data. Det andre programmet jeg har brukt heter MobMuPlat og kan lastes ned her. MobMuPlat muliggj?r at man kan styre en Pure Data-patch fra en smarttelefon eller et nettbrett. MobMuPlat er ogs? enkelt redigeringsverkt?y som hvem som helst kan l?re ? bruke. Vi har i Mus2830 l?rt hvordan man bruker MobMuPlat.
2. Programmering av patchen
2.1 Bonk~-objektet
For ? f? id?en min ut i praksis trengte jeg f?rst ? finne ut hvordan jeg kunne lage et program som fanget opp lyd via mikrofonen og kunne bruke denne lyden til ? trigge instrumentet. Jeg pr?vde flere forskjellige metoder for ? finne den beste l?sningen. "Bonk"-objektet var det f?rste jeg tenkte p? etter tips fra fagl?rer Kristian Nymoen- et objekt som gj?r at programmet kan l?re en spesifikk type lyd etter man har gjentatt den et visst antall ganger for programmet. Dette var egentlig akkurat det jeg s? etter, men i starten syntes jeg det var ganske vanskelig ? f? det til i praksis. Jeg brukte denne videoen som utgangspunkt da jeg skulle finne ut hvordan bonk-objektet fungerte. Grunnen til at jeg var usikker p? om dette ville fungere s? bra var at n?r man brukte bonk-objektet i patchen virket det som om den reagerte p? hvilken som helst mulig lyd, og man signalet ble trigget bare jeg trykket p? tastaturet. Imidlertid fungerte det mye bedre da jeg pr?vde det ut p? mobilen. Grunnen kan v?re mikrofonkvalitet p? laptop vs. mobilen eller noe annet.
Slik fungerer bonk-objektet: "thresh 20 80" bestemmer maksimum laveste og og maksimum h?yeste terskel for signalet som kommer inn. "debounce 0" vet jeg ikke helt hva betyr, men det var med p? youtubefilmen jeg brukte som hjelp, uten at meldingens betydning ble forklart noe videre. "minvel 50" indikerer at mindre frekvenser enn 50 ignorerers i registrering av lyden. "Learn 10" er knappen man trykker inn for at appen skal l?re lyden som skal gjentas. "learn 0" skal aktiveres for ? avslutte innl?ringen av lyder. "forget" brukes enkelt og greit for ? starte prosessen p? nytt. I tillegg videoen jeg linket til over, har jeg brukt Bonk-objektets egen bruksanvisning ("help", som man finner ved ? h?yreklikke objektet) som inspirasjon i arbeid med bonk-objektet.
p? en litt annen m?te:
Env-objektet fanger opp lyden fra mikrofonen, og man kan selv bestemme minimum antall hertz som skal registreres f?r man sender ut et signal, enten 1 eller 0. Ulempen med env~ er at det vil variere fra enhet til enhet hvilket niv? man har mikrofonen p?, og dessuten blir det vanskelig ? styre med tanke p? feedback. Det viste seg alts? at bonk gjorde jobben best, s? env ble forkastet.
2.2 Fire forskjellige forh?ndsprogrammerte tonerekker med "tabread"
N?r bonk-objektet aktiveres med f.eks. en klappelyd, blir signalene 0 og 1 sendt til en tabell som styrer ei tonerekke som er bestemt p? forh?nd. For ? gi litt valgmuligheter har jeg programmert inn fire forskjellige tonerekker som best?r av 32 toner hver, et eksempel p? en slik melodi ser du her (?pningstema fra fuge i Dmoll av J. S. Bach):
Neste steg ville v?re ? lage en funksjon der man har mulighet til ? forandre p? melodien selv i mobmuplat. Slik det er n? m? man g? inn i selve PD-patchen og endre disse tallrekkene som symboliserer toner. For ? gj?re det pedagogisk enkelt er tallet 1 en C. dette fordi tallrekka blir plusset opp med 47 miditoner, dvs 1 + 47 = 48 som er C3 (lille c) i miditoner. Slik jeg har gjort det er melodien eller skalaen n?dt til ? vare 32 noter. Det er relativt begrensende, men det gj?r at det er lett ? svitsje mellom de forskjellige melodiene. "lisa gikk til skolen" m?tte f? et lite "mellomspill" for at det skulle g? opp. Underveis pr?vde jeg ut ? f? inn variasjon i noteverdi slik at summen toner ble 32 (fire 4/4-takter a 8 toner i takta, og det var vel derfor jeg endte opp med tallet 32 Jeg fant til slutt likevel ut at i en sang som "lisa gikk til skolen" s? m? brukeren selv f? bestemme noteverdi, s? programmerte jeg heller inn alle tonene, dette fungerte best. Jeg har hentet inspirasjon fra denne videoen i arbeid med denne type sequenzer.
2.3 Lyddesign
Lyden jeg endte opp med ble en hammondorgellignende lyd, satt sammen av en oscillator med flere sinusb?lger. I appen kan man selv justere overtonene for ? f? fram ?nsket klang. Slik ser dette ut i patchen:
N?r man skrur opp den r?de volumkontrollen legger man til en tone som ganger den opprinnelige tonen med 2. Hvis grunntonen da er 220 hertz, f?r man alts? lagt til tonen som ligger ?n oktav over - 440 hertz. Som du ser p? bildet har man mulighet til ? bygge opp en kompleks klang ved ? dra opp volumet p? de forskjellige overtonene.
Jeg har ogs? lagt til en romklang som i sin helhet er kopiert fra Katja Vetter. All kudos til henne alts? for at hammondorgelet har f?tt litt romklang. Det eneste jeg har endret p? er niv?er fordi jeg opplevde at det fort ble en distortion p? lyden etter ? ha koblet til reverbet.
Reverbpatchen til Katja Vetter finner du her: http://forum.pdpatchrepo.info/topic/6247/freeverb-in-vanilla-pd/2
2.4 Slangeanimasjon
Jeg fant ut at det var nyttig ? ha med en slags animasjon som viser at man har satt igang et signal og appen har registrert signalet. Som et slags feedback. siden appen heter klapperslange, s? tegnet jeg en s?t slange i tegneprogrammet MSPaint som beveger halen sin n?r man "klapper" en tone. 
Screenshot av hele patchen med kommentarer finner du her (trykk p? bildet for ? se det i fullt format):
3. Brukervennlighet og utpr?ving av appen
3.1 Utseende
Her ser du screenshots av hvordan appen ser ut p? en iPhone:
Side 1
Side 2
Side 3
Side 4
3.2 Beskrivelse av appen
Appen har alts? fire sider. P? f?rste side blir man bedt om ? konfigurere appen med klappe- eller knipselyder eller andre typer lyder. Man skal ikke se bort ifra at det i teorien kunne fungert med hvilken som helst type lyder, men klapping og knipsing er det som s? langt har fungert best. P? side 2 skal man velge mellom de forskjellige tonerekkene, her kalt melodier. Volumet m? man skru opp selv p? denne siden, og dersom man ikke trykker inn en av melodiene s? vil appen bare gjenta ?n tone. P? neste side skrur man til orgel drawbars og klang. P? fjerde og siste side er det enkelt og greit kun bilde av den s?te klappe-slangen som beveger p? halen for hver gang du klapper deg ?n tone videre i tonerekka. Har ogs? lagt til en ekstra volumkontroll samt en av-knapp slik at man har den muligheten.
Appen har mange forskjellige, sterke farger og en barnslig paint-tegning av en gr?nn slange. Utseendemessig er derfor kanskje appen litt barnslig og appelerer til barn. Appen er likevel ganske avansert og var ikke s? lett ? bruke skal vi tro testpersonene.
3.3 Testpersoner
Jeg testet appen p? fem personer, der ?n av disse var i brukergruppen (psykisk utviklingshemmet) og de fire andre var personale som jobber med brukergruppen. Det ferdige resultatet er endret p? etter jeg utf?rte testingen, og testingen var en viktig del av ? forbedre det ferdige produktet. F?r testingen var knappene p? side 1 mindre, og det var vanskeligere ? se om man hadde trykket ned knappen eller ikke pga. fargevalget. Lyden var dessuten verre ? h?re p? fordi jeg ikke var helt ferdig med programmeringen- den var uten klang og spilte kontinuerlig uten stopp. Animasjonen med klapperslangen var heller ikke med.
Kort oppsummert virket det som at appen var noe vanskelig ? f? til uten at jeg forklarte grunnsprinsippene og demonstrerte for testpersonene f?rst. Noen av testpersonene pr?vde med en annen type lyd enn klapping eller knipsing. Dette virket ikke p? appen, muligens var ikke lyden de valgte h?y nok. For testpersonen som hadde psykisk utviklingshemning m?tte jeg selv konfigurere appen, da vedkommede ikke hadde forutsetninger for ? forst? eller klare dette. Jeg demonstrerte appen og pr?vde ? engasjere testpersonen til ? pr?ve selv. Testpersonen var noe uinteressert i ? pr?ve selv, men viste iver etter at jeg skulle styre appen med klappingen. Vedkommende begynte ? synge sammen med den ene melodien "Lisa gikk til skolen" og viste forh?yet evne til muntlig kommunikasjon enn det som var vanlig for denne personen. Dette var et uventet, men utelukkende positivt resultat. Det er imidlertid umulig ? si om det kun var denne appen som trigget sang og prat hos denne personen, det kan ogs? ha v?rt helt tilfeldig. For ? vite mer sikkert om denne appen faktisk kan brukes som et musikkterapautisk verkt?y til denne enkeltpersonen, m?tte det ha blitt utf?rt en langt mer omstendelig og empirisk testing over lengre tid enn denne semesteroppgaven ville gitt rom for.
En av testpersonene fikk lastet ned appen til sin Android-telefon. Det viste seg at appen fungerte d?rlig p? android - dessverre. Utseendemessig s? alt likt ut, men appen klarte ikke ? l?re klappelydene godt nok til at man kunne styre melodiene med klapping. Jeg vil anta at dette har med feedback og mikrofoninntillinger ? gj?re. Jeg har selv brukt en Iphone 4S til uttesting av appen. Her fungerer appen best n?r man bruker klappelyder, og aller best fungerer det n?r man bruker hodetelefoner.
3.4 Video
Her kommer en video hvor jeg demonstrerer bruken av appen:
4. Oppsummering/konklusjon
? arbeide med denne oppgaven har v?rt s?rdeles l?rerikt og spennende. Jeg har l?rt masse om Pure Data og MobMuPlat, og prossessen fra id? til produkt har v?rt b?de utfordrende og morsom. Jeg har valgt ? gi produktet mitt undertittelen "versjon 0.1." for ? understreke at dette er en slags prototype. Jeg kommer til ? jobbe videre med denne appen for ? gj?re den enda bedre, men dette vil v?re en tidkrevende prosess som krever mer kunnskap om programmering enn det jeg har i dag i tillegg til omfattende testing hos brukergruppen. Selv om appen kan utvikles og forbedres, har jeg klart ? finne svar p? min hovedproblemstilling: Hvordan utforme en musikkapp som kan styres ved hjelp av klappelyder? Fokuset har v?rt at appen skal styres med klappelyder, men designet av lyden har ogs? v?rt viktig for at man faktisk skal f? en f?lelse av at man lager musikk. Jeg h?per dessuten at id?en bak denne appen kan inspirere andre til ? lage lignende programmer til bruk i forskjellige former for musikkterapi.
Appen kan lastes ned som zip-fil ved ? trykke p? denne linken.
Referanser: