Denne siden er ment som en hjelper for deg som ?nsker ? komme i gang med ? skrive gode eksamenssp?rsm?l. Den presenterer teorien i bunn, viser riktig formatering av ferdige oppgavesett og g?r igjennom sp?rsm?lstypene vi bruker p? eksamen.
Viktige eksamensteoretiske betraktninger
Content validity
...vil si at eksamen faktisk pr?ver det vi vil at studentene skal l?re av studiet - fortrinnsvis presist reflektert i l?ringsm?lene.
Lag mange nok sp?rsm?l
For ? f? god bredde i sp?rsm?lene har en firetimers digital eksamen typisk rundt 100 sp?rsm?l.
Hvordan ?ke content validity?
- lage brede multimorbide kasus (som jo mer og mer tilsvarer virkeligheten legene m?ter)
- hvis det er sentralt stoff som ikke dekkes av kasuistikkene kan dette inkluderes som frittst?ende sp?rsm?l i en egen del
- en test med adekvat bredde er viktig for ? unng? at studenter slipper ut i arbeidslivet med potensielt farlige kunnskapshull
Sampling validity
...vil si at antallet sp?rsm?l innen ulike tema tilsvarer tyngden fagene har i studieplanen.
En n?kkel til god sampling validity er ? lage en mal for hvordan eksamens oppbygning b?r v?re. Malen b?r settes opp som en tabell som viser antall sp?rsm?l per fagomr?de, kognitive niv? osv. Tabellen brukes underveis i eksamensarbeidet for ? s?rge for riktig fordeling – og dermed validitet p? eksamen. Tabellen b?r inkludere:
Fordeling p? fagomr?der
- Antall sp?rsm?l fra de ulike fagomr?dene, eventuelt underomr?der av fagene
- Til kliniske eksamener - antall sp?rsm?l fordelt p? kliniske, parakliniske og basale fag
Fordeling p? ulike kognitive niv?
- Sp?rsm?l som tester faktakunnskap
- Sp?rsm?l som tester anvendelse av kunnskap - resonneringsevne
Generelt er det en utfordring ? lage flere sp?rsm?l som viser anvendelse av kunnskap.
Oppgaverammer for kliniske kasuistikker
Her rulles en sykehistorie ut gjennom flere deler hvor studentene for hver del f?r nye kliniske opplysninger fulgt av relevante sp?rsm?l. N?r studentene leverer inn en deloppgave sendes de videre i oppgaven uten ? kunne g? tilbake.
For hver ny del av kasuistikken gis fasitsvar p? de mest sentrale sp?rsm?l i den forrige delen, nye opplysninger og nye sp?rsm?l. Ved ? gi fasiten trekker man studenten inn til hovedsporet i beslutningstreet og unng?r f?lgefeil.
Oppgaverammer for basalfag
I basalfagene kan kliniske kasuistikkrammer bli kunstig, men det kan ofte settes en tematisk ramme for en oppgave, eller deler av oppgaven. En l?sning kan v?re ? bruke en del av oppgaven til frittst?ende sp?rsm?l fra faget. Utfordringen blir da ? allikevel lage gode sp?rsm?l som tester resonneringsevne.
Bruk av bilder
Hvorfor bruke bilder?
Medisin er et veldig visuelt fag, og bilder kan med stor fordel brukes b?de i oppgaverammen og i sp?rsm?lene. Det krever imidlertid litt ekstra omtanke ? forberede bilder til eksamensbruk.
Bilderettigheter
- Anonoymt materiale (materiale som ikke kan identifisere en pasient) som fagl?reren stiller med og som det ikke er knyttet noen eksterne rettigheter til, kan vi bruke uten videre. For eksempel rtg, ekg og histologiske snitt.
- Identifiserende pasientmateriale m? vi ha fullt samtykke fra pasienten til ? bruke. Personer p? bildet m? samtykke til bruken av bildet. Samtykkeskjemaet som er utviklet for e-l?ringsform?l kan brukes om man ikke har noe annet. Bilder m? anonymiseres, det vil si ikke inneholde pasientinformasjon eller v?re av en karakter som kan identifisere pasienter.
- Materiale fra eksterne kilder som er belagt med "?pne" rettigheter, for eksempel passende Creative Commons rettigheter, kan vi bruke s? lenge vi refererer til kilder og rettighetene.
- Materiale som andre har rettigheter til og som ikke er "?pnet", m? vi innhente tillatelse til ? bruke, samt oppgi kilde og rettigheter.
- Hvis bildet er fra en l?rebok eller en annen kilde som ikke er Open Acess-kilde m? man innhente tillatelse til ? bruke det i eksamensoppgaven.
I st?rst mulig grad b?r man tilstrebe seg ? bruke bilder fra Open Acess-kilder, eller bruke bilder man eier selv. Der kilder m? oppgis m? oppgaveskriver huske ? inkludere referanse n?r sp?rsm?lene sendes til kommisjonen.
Krav til bildene: format og st?rrelse
Send inn bildene i riktig st?rrelse og i JPEG-format. Bildene m? ha RGB fargekoding. Det er ikke gitt at et bilde som ble sendt inn for trykk i en l?rebok kan brukes i samme format som en del av eksamensoppgavene. Redigering av format kan lett ordnes i Photoshop og lignende bildebehandlingsverkt?y. Dersom du ikke behersker det, kan du f? bistand.
For hvert bilde m? man gj?re to vurderinger n?r det gjelder st?rrelsen. Begge vurderingene har en medisinskfaglig basis slik at det er oppgaveskriveren som m? gj?re dem.
PC-ene i eksamenslokalet er 22" og har en oppl?sning p? 1920x1080 pixler.
Hvor stort m? bildet v?re for at man skal se nok detaljer til ? kunne svare p? sp?rsm?let?
Bildene beh?ver ikke v?re st?rre enn 970 pixler brede. Det er da ogs? viktig at kompresjonsfaktoren ikke reduseres i forhold til utgangsverdien. Det kan medf?re at ytterligere detaljer g?r tapt. Reduser bildet i Photoshop. Det er nyttel?st ? fors?ke ? gj?re bildene st?rre enn de er i utgangspunktet - det tilf?rer ikke noen ny informasjon.
Ta ogs? noe hensyn til nettverkskapasiteten et stort bilde trenger - n?r det lastes ned av mange studenter samtidig. Bilder i st?rrelsesorden 1 MB er uproblematiske.
Hvor stort skal bildet v?re p? skjermen i utgangspunktet?
Bildet b?r v?re lite nok til at sp?rsm?let er oversiktlig p? skjermen og blir greit ? arbeide med. Oppgi enten hvor bredt eller h?yt du vil at bildet skal v?re, s? setter vi dette som en utgangsst?rrelse.
Dersom studenten vil se detaljer, kan man zoome inn i bildet ved hjelp av tastekombinasjonen CTRL + og f? mer og mer detaljer inntil alle pixlene i bildet vises (dvs. st?rrelsen du valgte under punktet ovenfor).
Formatering
Tittel p? oppgavedokumentene
Oppgavedokumentene skal navngis etter f?lgende regel:
- ?Emnekode-deleksamennr?_oppgavenr eller oppgavenavn_semester+?r_ord eller kont.
For eksempel:- MED1100-3_OPPGAVE1_V16_ORD eller
- MED3300-2_PATOLOGI_V17_ORD
- Dersom oppgaven skal ha navn fra flere fagomr?der skal de settes opp med bindestrek.
F.eks. MED3300-2_mikrobiologi-venerologi_V17_ORD
Nummerering
I dokumentene kommisjonen jobber m? alle sp?rsm?l nummereres slik: oppgavenummer.deloppgavenummer.sp?rsm?lsnummer, slik at f.eks. det 4. sp?rsm?let i deloppgave 3 i oppgave 1 f?r nummeret 1.3.4.
Det kan v?re lurt ? vente med nummerering til oppgaverekkef?lgen er bestemt.
Riktig nummerering forebygger feil b?de under innleggingen i eksamenssystemet og under sensuren.
Opprett deloppgaver
Marker klart starten p? ny deloppgave.
- Lag ny deloppgave n?r:
- du kommer til et punkt hvor f?lgefeil kan oppst? dersom studentene ikke f?r fasit p? de foreg?ende sp?rsm?lene,
- eller hvor en sp?rsm?lstekst avsl?rer svaret p? et tidligere sp?rsm?l.
- Skriv bare det som er nytt i sykehistorien (eller tilsvarende) i hver deloppgave samt fasiten p? de viktigste sp?rsm?lene i forrige deloppgave. Skriv det i fet skrift. Innlegger akkumulerer automatisk sykehistorien fra deloppgave til deloppgave.
Benevning av referanseomr?der og medikamenter
- Det heter referanseomr?der eventuelt referanseverdier, ikke normalverdier
- Oppgi referanseomr?de for alle laboratoriepr?ver
- Bruk OUS sine referanseomr?der i oppgavene og v?r oppmerksom p? at disse kan v?re ulike avhengig av kj?nn og alder
- Bruk norsk tegnsetting (f.eks. desimalkomma) i norske oppgaver
- Benevningen er for eksempel nmol/L bruk stor L
- Oppgi generisk navn p? medikamenter
- Temperatur oppgis med oC bak, eks. "Temperaturen til pasienten var 38,2oC"
Inkludér fagomr?de
P? eksamener der sp?rsm?lene kommer fra flere fagomr?der, og der det er ?nskelig at disse skal sensureres etter fagkategori, er det viktig at sp?rsm?lene merkes med fagomr?de i dokumentet som sendes til fakultetet for innlegging.
Dette gj?res foran hvert sp?rsm?l, f.eks. 4.1.1 (MC) Etikk, eller 4.1.2 (MC) Allmennmedisin.
Eksempeldokument
For ? se hvordan et ferdig dokument ser ut n?r det sendes til fakultetet for innlegging kan du laste ned dette eksempeldokumentet. Dette oppgavesettet er offentliggjort som treningssett.
Formatering av enkeltsp?rsm?l er forklart under hver sp?rsm?lstype lenger ned p? siden.
Sp?rsm?lstyper
Valg av sp?rsm?lstype
Vi bruker 4 ulike sp?rsm?lstyper i oppgavene. Du kan bruke b?de flervalgssp?rsm?l der ett eller flere svaralternativ skal velges, og kortsvarsp?rsm?l hvor studenten normalt skal besvare med ca. 1-10 setninger.
Ofte kan et sp?rsm?l stilles ved hjelpe av flere av de sp?rsm?lstypene vi bruker. Valget m? da baseres p? en pedagogisk vurdering. Valg av best egnet sp?rsm?lstype er et tema eksamenskommisjonen kan diskutere.
Poenggivning
Alle oppgaver i settet teller 6 poeng. Hvert sp?rsm?l gir dermed maksimalt 6 poeng. Ved feil eller manglende svar f?r studenten ikke poeng (null poeng). Det gis ikke trekk i poeng (i form av minuspoeng) ved feil svar p? noen av sp?rsm?lstypene.
Essay
Definisjon
- Sp?rsm?l som skal besvares med korte svar i fritekst – vanligvis fra 1 ord til 10 linjer.
- Siden det ikke gis noen hjelp i form av svaralternativ, slik det gj?res p? flervalgssp?rsm?lene, m? sp?rsm?let formuleres sv?rt presist for ? unng? flertydighet.
- Forventet omfang p? svarteksten b?r oppgis i eller etter sp?rsm?let.
- Tekstboksen hvor studentene svarer p? sp?rsm?let er 100 tegn bred. Det betyr at 1 linje tilsvarer 100 tegn.
Sensur
- Svarene sensureres manuelt.
- Kommisjonen lager en sensorveiledning som produseres sammen med sp?rsm?let.
- Sensorveiledningen definerer hvordan sp?rsm?let skal scores, og angir hva som skal v?re poenggivende. Som et minimum defineres hva som regnes som et halvgodt svar (3 poeng), og et fullgodt svar (6 poeng). Det kan ikke deles ut halve poeng.
Formatering av essaysp?rsm?l
- Marker at dette er et essaysp?rsm?l ved ? skrive (E) over sp?rsm?let.
- Oppgi etter sp?rsm?let hvor langt du mener et fullgodt svar maksimalt b?r v?re - med god margin, for eksempel: maksimum 3 linjer.
- Studentene ser da en tekstboks p? eksamen som er tiltenkt et svar p? 3 linjer. Det er imidlertid teknisk mulig for studentene ? skrive mer enn boksens st?rrelse - da f?r de mulighet til ? scrolle nedover for ? se hele teksten de har skrevet.
Fordi essaysp?rsm?l sensureres manuelt er det viktig at den som lager sp?rsm?let produserer en god sensorveiledning som beskriver kravene til poenggivning:
- Det gis vanligvis 3 poeng for halvgodt svar og 6 poeng for fullgodt svar.
- Det gis 0 poeng ved feil eller manglende svar.
- Et minimum er ? beskrive hva som skal til for ? f? 6 poeng og 3 poeng.
- For ? sikre best mulig sensurreliabilitet b?r sensorveiledningen v?re forholdsvis detaljert p? hva som gir poeng og ikke.
- Bilder kan ikke legges inn i sensorveiledningen. Ved bruk av tabeller og lignende for utregninger/forklaringer m? dette skrives som tekst.
Eksempel p? hvordan et essaysp?rsm?l settes opp i Word f?r det legges inn i QP:
Eksempler fra QP
Slik ser det ut p? skjermen til studentene i eksamenslokalet:
Multiple choice
Definisjon
- Avkryssingssp?rsm?l hvor det bare skal og kan avgis ett svar.
- Studenten f?r typisk 4-6 svaralternativ (distraktorer) hvorav ett er riktig.
- Antallet alternativ er en balanse mellom sannsynligheten for ? f? rett svar ved ren gjetting (1/n) og muligheten for ? finne gode svaralternativ.
Sensur
- Svarene rettes automatisk.
Historikk
- Denne sp?rsm?lsformen er basis for de amerikanske eksamenene i regi av National Board of Medical Examiners (NBME), og det er en hel vitenskap om hvordan man skriver gode MC-sp?rsm?l.
- NBME har laget en ganske stor, men sv?rt lesverdig skriveguide.
- Noen eksempler:
- Alternativene m? v?re unidimensjonale, dvs. at man ikke skal blande f.eks. behandling og diagnose, men holde seg til en av dem.
- Det riktige alternativet m? ha tilstrekkelig avstand fra de andre til at det ikke kan reises tvil om riktigheten. Samtidig m? de andre alternativene ikke v?re banale.
- Mange synes at MC-sp?rsm?l egner seg best til fakta-pr?ving og at det er vanskelig ? skrive sp?rsm?l som i st?rre grad utfordrer studenten til resonnering. NBME klarer etter egen mening dette utmerket, s? det kan v?re verdt ? lese skriveguiden deres.
Formatering av multiple choice-sp?rsm?l
- Marker at dette er et multiple choice sp?rsm?l ved ? skrive (MC) over sp?rsm?let.
- Etter sp?rsm?lsteksten oppgir du ett svaralternativ per linje og skriver det riktige svaret i fet skrift.
Eksempel p? hvordan MC-sp?rsm?l settes opp i Word f?r det legges inn i QP:
Eksempler fra QP
Slik ser det ut p? skjermen til studentene i eksamenslokalet:
Pull-down
Definisjon
- I prinsippet en samling av multiple choice sp?rsm?l som har en felles innledningstekst (hovedsp?rsm?l) og felles svaralternativ.
- Svaralternativene framstilles ikke som trykknapper, men som nedtrekksmenyer der man bare kan velge ett alternativ.
- Vurderingene for utformingen av multiple choice sp?rsm?l gjelder ogs? for pull-down.
- I pull-down sp?rsm?lene kan alle delsp?rsm?l gi poeng. Om svaralternativene for eksempel er JA og NEI, vil b?de korrekte JA-svar og korrekte NEI-svar gi poeng.
- Ideelt sett b?r man lage nedtrekksmenyer ned flere enn to alternativer ? velge mellom for ? unng? 50 % sjanse for rett svar ved ren gjetting.
Sensur
- Svarene rettes automatisk.
Spesielle hensyn ved bruk av pull-down sp?rsm?l
Det er alts? ikke mulig ? "helgardere" seg fram til full poengsum. Man m? v?re oppmerksom p? at et ubesvart delsp?rsm?l ikke har noe implisitt svar, men gir 0 poeng. Det fordrer visse hensyn under oppgaveskrivingen.
Det f?lgende sp?rsm?let, som hadde ja/nei svar, ble tolket av noen studenter slik at de kun beh?vde ? svare p? de riktige alternativene og at de andre underforst?tt var "nei":
Hvilke to av de følgende blodprøver vil du være spesielt interessert i med tanke på eventuelle bivirkninger av simvastatinbehandlingen?
Sp?rsm?let burde heller v?rt formulert slik:
Hvilke av de følgende blodprøver vil du være spesielt interessert i med tanke på eventuelle bivirkninger av simvastatinbehandlingen? Svar på alle alternativene.
En annen sak er hvorvidt man skal oppgi antall rette svar. Det avhenger av hvilken vanskelighetsgrad man tilstreber, og det er en del meningsforskjeller blant l?rerne om dette.
Formatering av pull-down sp?rsm?l
- Marker at dette er et pull-down sp?rsm?l ved ? skrive (PD) over sp?rsm?let.
- Etter sp?rsm?lsteksten oppgir du f?rst delsp?rsm?lene, ett per linje, etterfulgt av riktig svar.
- Deretter oppgir du alle svaralternativene, ett per linje.
Eksempel p? hvordan PD-sp?rsm?l settes opp i Word f?r det legges inn i QP:
Eksempler fra QP
Slik ser det ut p? skjermen til studentene i eksamenslokalet:
Multiple response
Definisjon
- Avkryssingssp?rsm?l hvor flere enn ett svaralternativ kan v?re riktige.
- Ved bruk av multiple response oppgis hvor mange svaralternativ som er riktige i sp?rsm?lsteksten, og vi hindrer at det kan krysses av p? flere alternativ.
- Vi gir poeng for riktige svar og ingen fradrag for feil svar.
- Det m? v?re minst like mange gale som rette alternativer for at det ikke skal bli for mange gratispoeng. Aller helst skal det v?re flere gale alternativ enn rette alternativ for ? unng? 50 % sjanse for rett svar ved ren gjetting.
- Hvis det er problematisk ? gj?re dette kan det tenkes at sp?rsm?let egner seg best som pull-down der studenten m? svare Ja/Nei, eller Riktig/Galt p? hvert alternativ.
Sensur
- Svarene rettes automatisk.
Formatering av multiple response-sp?rsm?l
- Marker at dette er et multiple response sp?rsm?l ved ? skrive (MR) over sp?rsm?let.
- Husk ? oppgi i sp?rsm?lsteksten hvor mange svaralternativer som er riktige. Vi begrenser da avkryssingsmulighetene tilsvarende.
- Etter sp?rsm?lsteksten oppgir du ett svaralternativ pr linje og skriver de riktige svarene i fet skrift.
Eksempel p? hvordan MR-sp?rsm?l settes opp i Word:
Eksempler fra QP
Slik ser det ut p? skjermen til studentene i eksamenslokalet:
