Sammenkobling av lyd og visuelle effekter ved hjelp av datateknologi

Abstract

Sammenkobling av lyd og visuelle effekter kan man i dag se på diverse multimedieapplikasjoner. De applikasjonene som brukes i dag, bruker som regel metoder og algoritmer der man ser på frekvensene til et musikkstykke. Ser vi for eksempel på en mye brukt applikasjon som Windows Media Player, så brukes de forskjellige frekvensene i musikken vi velger å avspille for å gi visuelle effekter med mye farger og bevegelse. Dette prosjektet går et skritt videre ved å sette form og objekter til bestemte lyder og instrumenter i musikken og ikke særskilt til kun frekvenser. Ved å bruke metoder som er valgt av studenten, kan man komme frem til å bruke bestemte objekter, form og farger til bestemte lyder. Studenten ville opprinnelig utføre en lyttetest og en EEG (Electroencephalogram) test der han sammen med fagpersonell på sykehuset ville finne ut hvordan testpersoner reagerte på lyd. Siden Sørlandets Sykehus etter hvert ikke ville samarbeide om prosjektet (se vedlegg D), måtte studenten finne andre metoder for å løse oppgaven. Den opprinnelige lyttetesten er beholdt, men i stedet for å bruke en EEG-test, ble det laget en ”objekt og farge”-test. Studenten har brukt emner fra IKT, biologi, psykologi og multimedia for å lage testene. Denne tverrfaglige kombinasjonen har gitt en interessant og ikke minst artig vri på oppgaveutførelsen. Resultatet av testene var meget overraskende og man kunne etter hvert få ut et nøkkelord av lyttetesten: nemlig vann. Bortimot alle personene som hørte et bestemt musikkstykke beskrev et landskap der vann stod i fokus. Objekter, form og farger fra resultatet av lyttetesten ble så implementert inn i en Javaapplikasjon og satt sammen med musikkstykket, instrumenter og lyder som studenten valgte å bruke i oppgaven.