English version below
Henter vi inn tilstrekkelig relevant informasjon om kvaliteten i undervisningen v?r, slik at vi kan foreta gode vurderinger av hva som fungerer godt og hva vi trenger ? endre p??
Da vi reviderte kvalitetssystemet p? UiO i 2020 var noe av form?let ? unng? rapportering for rapporteringens skyld. P? programniv? beholdt man de periodiske programevalueringene. P? emneniv? innf?rte UiO en regel om at evaluering fra studentene skal skje midtveis i hvert semester som emnet g?r, og at resultater fra midtveisevalueringene f?rst og fremst skal deles med studentene som har tatt emnet det aktuelle semesteret. N?r NOKUT i sin rapport sp?r om kunnskapsgrunnlaget for UiO sitt kvalitetsarbeid er tilstrekkelig, siktes det til nettopp denne forenklingen i rapportering som ble foretatt i 2020. De oppfordrer oss eksplisitt til 1. Evaluere om reduksjonen av rapportering gir ?nsket effekt; 2. F?lge med p? om universitetet til enhver tid har et tilstrekkelig kunnskapsgrunnlag for ? sikre og videreutvikle utdanningskvaliteten; og 3. Benytte kunnskapsgrunnlaget fra emneevalueringer bedre.
N?r det gjelder de 6-?rige periodiske programevalueringene er inntrykket i det store og hele at de er til nytte i kvalitetsarbeidet p? enhetene. Vi p? SV-fakultetet fikk ros fra NOKUT-komiteen for m?ten vi f?rst kj?rer en intern evaluering og deretter en ekstern evaluering i de periodiske programevalueringene. P? v?rt fakultet har vi i tillegg en ?rlig programgjennomgang, der programleder og utdanningsleder har ansvar for ? vurdere status for arbeidet med strategiske omr?der innen studiekvalitet, kommentere visse n?kkelindikatorer fra ?rsrapporten for hvert enkelt program, samt ? indikere hvilke styrker og utfordringer man ser i gjennomf?ringen av programmet. Disse programgjennomgangene blir brukt i fakultetets videre dialog og st?tte til kvalitetsarbeidet p? enhetene, og de ligger til grunn for rapportering om studiekvalitet til instituttledere og fakultetsstyret.
Det ligger i kvalitetssystemet at emneevalueringer skal foretas om lag midtveis hvert semester emnet tilbys, og at tilbakemeldingene skal deles og diskuteres med studentene. Hensikten med slike underveisevalueringer er at studentenes tilbakemeldinger kan komme til nytte allerede samme semester. Fakultet har en praksis om at resultatene av emneevaluering skal sammenfattes og publiseres p? programsidene. Fokus for disse sammenfatningene skal v?re p? hvilke endringsomr?der og tiltak man ?nsker ? iverksette p? bakgrunn av tilbakemeldingene. Basert p? de publiserte sammenfatningene er det en endel variasjon i hvordan emneevaluering praktiseres p? enhetene. Det er blant annet mange m?ter ? innhente informasjon fra studentene p?. Vi ser at noen har fokusgrupper, noen har kontaktpersoner blant studentene som de intervjuer, noen lar studentene diskutere uten emneansvarlige til stede og s? innhenter oppsummering fra studentrepresentanter etterp?. Andre, blant annet ISS og de enhetene som har emner som har deltatt i den p?g?ende piloteringen av nytt emneevalueringssystem p? UiO, gjennomf?rer sp?rreunders?kelser til alle deltakere med b?de kvantitative og kvalitative m?l.
At emneevaluering gj?res forskjellig er ikke n?dvendigvis noe problem, kanskje snarere tvert i mot. Det viktige er ? finne meningsfulle m?ter for studentene til ? gi tilbakemelding p? hva i deres undervisning som fungerer og ikke fungerer, p? et tidspunkt som gj?re det mulig for dem ? p?virke undervisningen mens den enda p?g?r. For emneansvarlige og undervisere er hensikten at de f?r noe de opplever som relevant informasjon som grunnlag for ? foreta forbedringer og at de kan et utgangspunkt for en dialog om undervisningen med studentene. Konstruktive innspill og kritikk fra studenter kan v?re nyttig ogs? for ? kunne ta videre i systemet – blant annet til programr?d og ledelse - der det handler om mer strukturelle problemer som f.eks. ressursmangel, svikt i koordinering, uhensiktsmessige lokaler eller teknisk utstyr, eller d?rlig sammenheng p? tvers i et program eller semester. P? denne m?ten er l?pende tilbakemelding p? emneniv? viktige systemindikatorer p? kvaliteten p? undervisningen v?r. P? den positive siden er det mange som opplever ? f? velfortjent ros fra studentene. Det er jo ikke bare studenter som etterlyser feedback i hverdagen, det gjelder ofte oss ansatte ogs?. Dokumentasjon av egen undervisning og utviklingsprosjekter med evalueringer er i tillegg viktige elementer i en pedagogisk mappe som kan brukes i senere s?knader blant annet om faste stillinger, opprykk og som merittert underviser.
Samtidig kan det se ut til at det er en del utfordringer med ? f? dette med emneevaluering til ? fungere helt etter hensikten. Vi har lenge sett at det er vanskelig ? f? studentene til ? delta i evalueringer av undervisningen. Det er smertefullt tydelig p? programniv? i Studiebarometeret, der deltakerprosenten for SV-fakultetets studenter har blitt halvert i l?pet av de siste fire ?rene. Problemet med lavt studentengasjement i evalueringer gjenspeiler som nok ogs? p? emneniv?. Det er et stort problem ogs? for de ansvarlige for undervisningen n?r s? f? studenter bryr seg om ? svare. Hvordan kan man v?re sikre p? at man vet hva studentene egentlig syns om hva som fungerer og ikke? Ideen om at underveisevaluering ?ker studentmotivasjonen for ? svare fungerer kanskje ikke alltid slik. Et av de elementene som er viktige for om undervisningen blir vellykket eller ikke fungerer – s?nn som undervisere, tema, undervisnings- og vurderingsformater og lokaler - er jo allerede lagt for hele semesteret. N?rmere slutten av semesteret kunne man kanskje legge inn en bolk med sammenfatning, evaluering og eksamen, men dette m? i s? fall planlegges inn.
Planlegging og gjennomf?ring av emneevaluering tar n?dvendigvis noe tid for emneansvarlig. En del tid kan trolig spares hvis man kan bruke allerede utviklede datainnhentingsrutiner. Eksempler p? slike er det vi h?per ? f? til gjennom emneevalueringsprogrammet som er under utvikling p? UiO eller mer lokale l?sninger som nettskjema med lenke fra Canvas, som blant annet brukes hos ISS. Det er ogs? viktig ? understreke at sammenfatningene som skal publiseres p? nett ikke trenger ? v?re omfattende tekster. Det er snakk om ? angi kort hovedtrekkene i tilbakemeldingene fra studentene og hvilke tiltak man har gjennomf?rt og/eller tenker ? gjennomf?re.
Det er mange gode grunner til at undervisning p? emner som tilbys p? universitetet skal evalueres, og at disse evalueringene m? inng? som en sentral del av et studiekvalitetssystem. NOKUT-rapporten tilsier at UiO n? etter siste revisjon av kvalitetssystemet er nede p? et minimum av hva man tenker en tilstrekkelig gitt v?r rolle og ambisjoner om kvalitet. Vi kan kanskje ikke gj?re mindre av evaluering, men vi kan sikkert gj?re ting bedre. Jeg vil gjerne oppfordre undervisere, studieadministrasjon og ledere p? enhetene, sammen med studentene, til ? diskutere og dele erfaringer med hvordan emneevalueringer kan gj?res innenfor rammene som n? er gitt av kvalitetssystemet p? m?ter som er minst mulig ressurskrevende, men som samtidig bidrar til mest mulig kvalitet og faglig mening.
Editorial: The knowledge platform for our work with the study programme quality – is it good enough?
As you know, the University of Oslo’s (UiO) quality system received NOKUT’s (the Norwegian Agency for Quality Assurance in Education) accreditation after the evaluation in 2022. However, the expert committee had some suggestions for further development work. One of these concerned the knowledge base for the quality work. Do we gather enough relevant information about the quality of our teaching so that we can make good judgements about what is working well and what we need to change?
When we revised the quality system at UiO in 2020, one of the aims was to avoid reporting simply for the sake of reporting. Periodic programme evaluations at programme level were retained. At the course level, UiO introduced a rule that student evaluations should take place midway through each semester of the course, and that the results of the mid-term evaluations should primarily be shared with the students who have taken the course in that semester. When NOKUT asks in its report whether the knowledge base for UiO's quality work is sufficient, it refers to precisely this simplification in reporting that was implemented in 2020. They explicitly encourage us to 1. Evaluate whether the reduction in reporting is having the desired effect; 2. Monitor whether the university always has a sufficient knowledge base to safeguard and further develop the quality of education; and 3. Make better use of the knowledge base from course evaluations.
As regards the 6-year periodic programme evaluations, the overall impression is that they are useful for the quality work in the units. We at the SV Faculty received praise from the NOKUT committee for the way we first run an internal evaluation and then an external evaluation in the periodic programme evaluations. At our faculty, we also have an annual programme review, where the Head of Programme and the Head of Education are responsible for assessing the status of the work on strategic areas of programme quality, commenting on certain key indicators from the annual report for each programme, and indicating the strengths and challenges in the implementation of the programme. These programme reviews are used in the Faculty's further dialogue and support for the quality work in the units, and they form the basis for reporting on programme quality to heads of department and the Faculty Board.
The quality system stipulates that course evaluations should be carried out about halfway through each semester in which the course is offered, and that the feedback should be shared and discussed with the students. The purpose of such interim evaluations is that students' feedback can already be used in the same semester. The faculty has a practice of summarising and publishing the results of course evaluations on the programme pages. The focus of these summaries should be on the areas of change and actions to be taken on the basis of the feedback. Based on the published summaries, there is some variation in how course evaluation is practised in the units. Among other things, there are many ways to gather information from students. We see that some have focus groups, some have contact persons among the students whom they interview, some allow students to discuss without course coordinators being present, and then collect summaries from the student representatives afterwards. Others, such as the Department of Sociology and Human Geography (ISS) and the units with courses that have participated in the ongoing piloting of a new course evaluation system at UiO, conduct surveys of all participants, with both quantitative and qualitative objectives.
The fact that course evaluation is done differently is not necessarily a problem, perhaps quite the opposite. The important thing is to find meaningful ways for students to provide feedback on what works and what doesn't work in their learning, at a time that enables them to influence their learning while it is still going on. For course coordinators and lecturers, the aim is to provide them with what they perceive as relevant information as a basis for making improvements and as a starting point for a dialogue with students about teaching. Constructive input and criticism from students can also be useful to take further in the system, including to programme councils and management, where more structural problems such as lack of resources, coordination failures, inappropriate premises or technical equipment, or poor coherence across a programme or semester are concerned. In this way, continuous feedback at course level is an important systemic indicator of the quality of our teaching. On the positive side, many find that they receive well-deserved praise from students. It's not just students who ask for feedback in their everyday life, it often applies to us staff as well. Documentation of your own teaching and development projects with evaluations are also important elements in a pedagogical portfolio that can be used in subsequent applications for permanent positions, promotion and as a merit-based teacher.
At the same time, it seems that there are some challenges in making this course evaluation work as intended. We have long recognised that it is difficult to get students to participate in evaluations of teaching. This is painfully evident at programme level in the Study Barometer, where the participation rate for SV Faculty students has halved over the past four years. The problem of low student engagement in evaluations is probably also reflected at course level. It is also a major problem for those responsible for teaching, when so few students bother to respond. How can you be sure that you know what students really think about what works and what doesn't? The idea that pre-assessment increases student motivation to respond may not always work that way. Some of the elements that are important for the success or failure of teaching, such as teachers, topics, teaching and assessment formats and premises, have already been decided for the whole semester. Towards the end of the semester, it might be possible to include a module on summarising, evaluating and examining, but this would have to be planned.
Planning and conducting course evaluations necessarily takes some time for the course organiser. Some time can probably be saved if data collection routines that have already been developed can be used. Examples of these are what we hope to achieve through the course evaluation programme that is being developed at UiO, or more local solutions such as the online form with a link from Canvas, which is used by ISS, among others. It is also important to emphasise that the summaries to be published online do not have to be comprehensive texts. It is a question of briefly summarising the main features of the feedback from students and the actions taken and/or planned.
There are many good reasons why the teaching of courses offered at university should be evaluated and that these evaluations must be a central part of a programme quality system. The NOKUT report indicates that after the latest revision of the quality system, UiO is now down to a minimum of what is considered adequate, given our role and ambitions for quality. We may not be able to do less evaluation, but we can certainly do things better. I would like to encourage teachers, programme administrators and unit managers, together with students, to discuss and share experiences on how course evaluations can be carried out within the framework now provided by the quality system, in ways that are least resource-intensive but at the same time contribute to maximising quality and academic meaning.