Kvalitetsarbete

Styrkor och svagheter

Vilka generella styrkor och svagheter har rankningar av lärosäten som information om lärosätens kvalitet?

Den främsta styrkan med rankningssystem är att resultaten är lätta att ta till sig, även för den helt oinsatte i frågor om högre utbildning och forskning. De ger ett sammanfattande, kvantitativt mått på något som annars är svårfångat. För den som inte tränger in bakom en rankningslista visar den på ett överskådligt sätt det bästa till det sämsta lärosätet bland dem som omfattas av den aktuella rankningen. Rankningslistor berör egentligen bara 1-3 % av världens alla universitet beroende på rankningslista, det vill säga 200-500 av världens 16500 universitet

Styrkan vilar samtidigt på bräcklig grund. Ingen rankningslista ger ett samlat och rättvisande mått på ett lärosätes kvalitet.

Det beror bland annat på följande:

  • Endast det som går att mäta kan ingå. Viktiga kvalitetsaspekter fångas inte upp av rankningslistor på grund av att de inte går, eller är svåra, att mäta kvantitativt. Frågan: ”Counting what is measured or measuring what counts?” är högst relevant.

  • Det som mäts återspeglar inte alltid kvaliteten i verksamheten. En del indikatorer vilar på bristfälligt underlag, som till exempel enkäter med icke-precisa frågor eller med låg svarsfrekvens. Exempel är de indikatorer i rankningslistorna som ger uttryck för lärosätets rykte bland akademiska företrädare och avnämare. När frågor ställs om vilka lärosäten som är excellenta, finns inte alltid alla länder och lärosäten med bland svarsalternativen och det är inte ovanligt med så låga svarsfrekvenser som 5 %.Även det som går att mäta med någorlunda god precision är inte alltid ett tecken på kvalitet – utan måste egentligen värderas i sitt sammanhang. Få studenter per lärare kan till exempel vara uttryck för kvalitet, men behöver inte vara det.

  • Rankningsproducenter visar inte alltid hur indikatorer beräknas eller hur indikatorerna värderas och vägs mot varandra. Det är inte alltid rankningsproducenter talar om hur olika indikatorer beräknas, även om dokumentation om vad de mäter finns. Nästan alla rankningsproducenter använder sig av det statistiska måttet z-score, det vill säga varje värde jämförs med det lärosäte som får det högsta värdet för en indikator. Detta gör att det är mycket svårt att analysera vad ett enskilt lärosätes förändrade placering från ett år till ett annat beror på. Sammanvägningen av olika indikatorer kan även ske godtyckligt och inget metodologiskt resonemang kring hur olika indikatorer värderas redovisas.

  • Oftast mäts forskningskvalitet, men inte utbildningskvalitet. Rankningslistor mäter olika saker beroende på vilka indikatorer som ingår. De flesta rankningslistorna innehåller till exempel endast, eller till övervägande del, indikatorer som är avsedda att mäta forskningskvalitet. De indikatorer som ska återspegla utbildningskvalitet är ofta indirekta och utan entydig koppling till den faktiska kvaliteten i verksamheten.

  • Bibliometriska indikatorer missgynnar vissa ämnen, publiceringstraditioner, språk liksom nyligen publicerad forskning. Olika ämnen har olika publicerings- och citeringskulturer. Det medför att samhällsvetenskaper missgynnas i bibliometriska mätningar, medan humaniora oftast inte omfattas överhuvudtaget. För att i någon mån justera för dessa skillnader sker så kallad fältnormering, där antalet citeringar divideras med det genomsnittliga antalet citeringar inom samma fält och år. Problemet med att böcker inte omfattas kvarstår dock.