Politikk og forventninger til faglig evaluering ved ansettelser ved UiO

?pen vitenskap var ?rets tema under Darwin day-middagen under Oslo Life Science. En betydelig problemstilling i diskusjonen var faglig evaluering ved ansettelser; en viktig del av enhver ansettelse.

Internasjonale forskere ?nskes velkommen til UiO. De m? f? tydelige, forutsigbare signaler om hvordan vi rekrutterer til v?re vitenskapelige stillinger ved UiO.

Vi er alle enige om det viktigste. En kandidats vitenskapelige kvalifikasjoner m? vurderes p? grunnlag av innholdet i personens arbeider. Det betyr at evaluatorene m? lese kandidatenes arbeid. Gitt antallet kandidater og den ofte betydelige produksjonen hver av disse har, kan likevel ikke en komite lese alt. Dermed m? kandidatene sende inn typisk 3 til 10 arbeider som komiteen leser og vurderer n?ye. Det er v?rt klare inntrykk at dette er en selvf?lgelig standard ved UiO.

En komite vil ogs? se p? publikasjonslisten og benytte siteringer og annet i tillegg. Ofte skjeler man til hvor arbeidene typisk er publisert. Ikke i stedet for ? vurdere de innsendte arbeidene n?ye, men i tillegg.  Det eksisterer et hierarki for tidsskriftene. Vi kan v?re uenige i hvor tydelig og godt dette hierarkiet er, men kvalitetssikringens omfang og kvalitet er ulik i ulike journaler. Faglig sterke redakt?rer, redaksjonelle styrer og fagfeller er en viktig del av v?rt kvalitetssystem p? det beste. Det betyr ikke at det ikke gj?res feil! Men noen tidsskrifter vet vi gj?r en bedre jobb enn andre.

I noen tilfeller brukes dette i screeningen n?r flere hundre kandidater skal snevres inn til noen f? titalls sterke kandidater som skal vurderes n?ye. Denne arbeidsformen kan gj?re at en god kandidat slipper unna. P? den annen side tillater metoden brede utlysninger. Brede utlysninger, som er viktig for ? sikre fornyelse, gj?r en komites arbeid mye mer komplisert. Tre eller fem personer i sakkyndig komite vil ikke n?dvendigvis dekke hele bredden av et fagfelt og et tidsskrifthierarki kan da v?re av nytte. Selvf?lgelig kunne utlysningen snevres inn, men det har ogs? omkostninger for kandidater som ikke f?lger den smale sti. Her er ogs? tradisjonen ulik p? v?rt universitet. Vi er personlig langt mer bekymret for for smale utlysninger enn at de er for brede.

Det er imidlertid lett ? st?tte r?dene i DORA til institusjoner og til institusjonens ledere:

  • Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.
  • For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

Og det er lett ? st?tte r?dene i DORA-erkl?ringen til oss som fagpersoner n?r vi evaluerer.

  • When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.
  • Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due.
  • Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs.
  • Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.

Denne helhetstenkingen er viktig, og krever at ledere p? alle niv?er ved UiO og at alle forskere er seg sitt ansvar bevisst.

Vi starter derfor et arbeid med ? tydeliggj?re en politikk og forventninger til faglig evaluering ved ansettelser ved Universitetet i Oslo. Her vil arbeidenes faktiske kvalitet v?re det helt sentrale elementet.

Av Svein St?len, ?se Gornitzka
Publisert 18. feb. 2019 15:09 - Sist endret 18. feb. 2019 17:30

Kom igjen'a Svein, skriv under DORA!

Send et signal til alle de midlertidig ansatte p? huset som ser at eneste veien til fast ansettelse er ? jobbe sammen med noen som kan hjelpe en ? f? en Nature eller Science paper. Send et signal til alle de som driver universitetet fremover, alle de midlertidig ansatte, at det er forskningen selv som er viktig og IKKE innpakningen. N? sier du nemlig det motsatte; at vi b?r jage impact-factors, siteringer, antall publikasjoner og ikke pr?ve ? gj?re en best mulig jobb, men ? gj?re en jobb som gir best uttelling. Du vil ikke signere DORA fordi det vil v?re s? mye jobb ? faktisk vurdere faglig innhold i forbindelse med en ansettelse. Det er et svakt argument og forsterker bare inntrykket av at innpakning er viktigere enn innhold n?r det gjelder hvordan UiO vurderer forskning.?

Indekser, siteringer og impact-factors er klassiske eksempler p? Goodhart's law; n?r noe som skal brukes som et m?l (measure) faktisk blir et m?l (target) og da rent faktisk ikke lenger er et godt measure. Det er ikke bra ? m?le forskning p? slike m?ter fordi vi n? har mange forskere som er oppdratt til ? pr?ve ? score h?yt p? disse m?lene og da er de ikke lenger gode indikatorer p? kvalitet (om de i det hele tatt var det f?r).?M?let kan da ikke v?re ? ha forskere som er flinke til ? hanke inn siteringer, publiserer kun i glossy journaler og strategisk planlegger arbeidet sitt for ? se best ut i et tellekantsystem. M?let m? jo v?re ? f? nye tanker, perspektiver og flinke folk som gj?r den tidkrevende og vanskelig jobben forskning ofte kan v?re.

N? er det p? tide at UiO setter foten ned. UiO skal vurdere forskningskvalitet ved ? vurdere det faktiske faglige innholdet?og ikke la neste generasjon forskere v?re siteringsjegere, least-publishable-unit maskiner som ikke har som m?l ? forst?, men har som m?l ? pimpe CV'en slik at de kan f? fast jobb.

S? Svein, gj?r som du sa da du var rektor-kandidat. Signer DORA.

josteist@uio.no - 21. feb. 2019 15:52

Hei Jostein

En kandidats vitenskapelige kvalifikasjoner m? vurderes p? grunnlag av innholdet i personens arbeider. Det betyr at evaluatorene m? lese (deler av) kandidatenes arbeid. Det er v?rt klare inntrykk at dette er en selvf?lgelig standard ved UiO og det er et lederansvar ? p?se at det virkelig er slik. S? starter vi n? et arbeid som skal lage en politikk og her vil jeg - som jeg pr?ver i alle sammenhenger?- involvere folk f?r politikken endelig vedtas. Vi skal ogs? intensivere arbeidet med institusjonell integritet som jo ikke minst kopler til en sterk akademisk kultur hvor elementer av ukultur vi ser utfordre dagens forskningssystem bekjempes. Kvalitet m? premieres ikke kvantitet!?Se ogs??https://www.nature.com/articles/d41586-019-00613-z

?

Svein St?len - 23. feb. 2019 15:48

Kommentering p? dette dokumentet er skrudd av.

Foto: Jarli & Jordan/UiO

Rektoratbloggen

V?rt ?nske er at UiO styrker sin evne til samspill internt og eksternt. M?let er ? utnytte den enest?ende posisjonen vi har som hovedstadsuniversitet i en av de mest kunnskapsintensive regionene i Europa.

I Rektoratbloggen skriver vi om saker av stor betydning for UiO.

Foto: Jarli & Jordan/UiO