Design and Development Of Mixed Reality Application With Haptic Feedback For Learning Abdominal Palpation— Supporting Active Learning For Healthcare Students And Professionals

Abstract

Denne masteroppgaven utforsker utviklingen og evalueringen av et immersivt mixed reality (MR) treningssystem designet for å støtte medisinsk utdanning, med fokus på abdominal palpasjon. Tradisjonelle opplæringsmiljøer møter ofte utfordringer som begrenset tilgang til pasienter og utilstrekkelig veiledning, noe som reduserer studentenes muligheter til å opparbeide selvtillit og effektiv praksis. Som svar på dette ble en MR-basert simulering utviklet i Unity ved hjelp av Meta Interaction SDK, basert på menneskesentrerte designprinsipper og retningslinjer for immersive læringsmiljøer. Systemet inkluderer multimodal tilbakemelding—visuell, auditiv og haptisk—sammen med naturlige håndsporingsinteraksjoner.

Systemet ble evaluert gjennom to runder med brukervennlighetstesting med ni deltakere, inkludert både helsefagstudenter og profesjonelle. En mixed-methods tilnærming ble brukt: spørreskjema etter testing ga kvantitative innsikter, mens observasjoner og semistrukturerte intervjuer dannet grunnlaget for en tematisk kvalitativ analyse. Funnene antyder at integreringen av multimodal tilbakemelding i noen grad forbedret brukerengasjement, innlevelse og prosedyreforståelse. Iterative forbedringer mellom testomgangene førte til tydeligere oppgaveflyt, bedre brukerveiledning og mer konsistente interaksjoner. Likevel ble det identifisert begrensninger knyttet til realismen i haptisk tilbakemelding og nøyaktigheten i posisjonssporing ved trykk.

Arbeidet gir praktiske innsikter i design av immersive læringssystemer som fremmer aktiv læring gjennom interaktive, tilbakemeldingsrike omgivelser. Det fremhever også verdien av å kombinere sansemodaliteter for å støtte brukerengasjement og ferdighetsutvikling. Prototypen danner et utgangspunkt for videre forskning og potensiell integrering i helsefagutdanning.