Utvärdering av fakultetens forskning - Kvalitet och förnyelse (KoF24)

Bibliometri

Vi har svårt att identifiera ”lead authors" för vissa av våra publikationer, dessutom tar det tid att gå igenom alla enskilda publikationer som programmet har producerat 2017-2022. Hur ska vi gå tillväga? Vi har också många olika frekventa publiceringskanaler, ska vi lista dem alla?

Vi är medvetna om att publiceringspraxis skiljer sig åt mellan olika fält, särskilt om författarordning används för att ange olika grad av bidrag i arbetet. Observera att "lead authors" är tänkt att fånga upp att den största insatsen i det intellektuella arbetet bakom publikationen var från forskningsprogrammet, så inte nödvändigtvis corresponding author(s) för publikationen, även om det många gånger är samma person(er). Om det är svårt att identifiera lead authors för en mängd av publikationer så ange en uppskattning för detta.

För listan med upp till tio (men inte fler) mest frekventa publikationskanaler i 3.3.4 kommer det att vara för tidskrävande för många program att ange ett exakt antal huvudförfattare. Därför räcker det att ge en uppskattning.

Ni har ändrat tabellen med bibliometrisk statistik. Varför?

Vi beslutade att lägga fokus på impactindikatorerna och täckningsgraden i förhållande till det totala antalet publikationer (fraktioner) endast aggregerat över det aktuella tidsintervallet.

Varför förlitar ni er på en ny indikator för täckning (fraktionerad) och inte den vanliga indikatorn för Web of science-täckning (WoS-täckning) som rapporterades i UU ABM 2023?

Först och främst har vi data för WoS-täckning om någon är intresserad. Men det har blivit uppenbart för oss att missförstånd kan uppstå när vi talar om citeringsanalys i CWTS Leiden-versionen av WoS, utan att egentligen förklara exakt vilken delmängd av WoS-indexerade publikationer som ingår.

Så, låt A vara ett program/en institution. För att belysa andelen av A:s publikationsfraktioner som används i citeringsanalysen använder vi istället P_frac_wos/P_frac_total över åren (2017-2021), där P_frac_wos är de publikationsfraktioner från A som inkluderas av CWTS Leiden i citeringsanalysen, och där P_frac_total är den totala (fraktionerade) publikationsoutput i DiVA för A. Vi ger också den fullständiga listan över publikationer som används av CWTS Leiden, för att hjälpa A att reflektera över given statistik.

Ska ett forskningsprogram betrakta alla publikationer som en forskare gjort under 2017-2022?

Nej, betrakta endast publikationer som är affilierade med forskningsprogrammet eller UU (som angivet vid originalpublicering). Fokus är på publikationer, inte individuella forskare. Vänligen notera att detta kan leda till smärre skillnader mellan statistiken för program och institution, genom att programstatistik beräknas utifrån Akka-ids och institutionsstatistik beräknas såsom i UU ABM2023. Forskningsprogrammet bör uppmärksamma om det är något signifikant exempel av detta problem.

Ska ett program beakta alla citeringar till ett programs publikationer?

Notera att när vi säger citeringsgenomslag i KoF, så menar vi det inom ramen för CWTS Leidens version av Web of Science och inte inom kontexten för någon annan citeringsdatabas. Vi betraktar också endast citeringar gjorda till publikationer från åren 2017-2021.

Kan ni förändra den av prefekter bestämda mappningen av personer (AKKAids) till forskningsprogram och generera nya bibliometriska indikatorvärden? Kan vi lägga till publikationer från 2017-2022 som vi inte hittar bland mängden av inkluderade publikationer?

Nej, i praktiken inte. Beräkningarna är gjorda på den fixerade mängden av publikationer som fanns i DiVA vid tiden för extraktion av metadata, och på den fördelning av personer (AKKAids) till forskningsprogram som gjordes av prefekter under 2023. För att generera nya bibliometriska indikatorvärden, så krävs en ny fördelning från alla prefekter, en ny extraktion av metadata från GLIS/DiVA, och därtill en ny beställning av analys från CWTS Leiden via planeringsavdelningen på UU, där den senare nyss har förlorat den personalkompetens som genomförde den aktuella analysen. Vi bedömer att detta kräver för mycket resurser i förhållande till förväntad nytta. Vi uppmanar alla program att reflektera över det de ser som brister eller avvikelser i den rapporterade statistiken.

Varför använder ni inte (min favorit bland) andra bibliometriska databaser eller indikatorer?

Det finns ingen perfekt sätt att göra bibliometriska utvärderingar, och vi är medvetna om att metoden som valts är varken perfekt eller fullständigt likvärdig över alla ämnesfält inom fakulteten. Vi har prioriterat genomskinlighet och validitet när vi valde metod, indikatorer och datakälla. Källan som vi använder, CWTS Leidens egen version av Web of Science, anses allmänt tillhöra industristandarden I den scientometriska forskningen. Processen som vi valde är att först identifiera alla författare inom tidsperioden för att sedan låta institutionerna placera in dem i forskningsprogram. Här förlitar vi oss på att institutionerna lägger till rätt UU-användarid ("AKKAid") I listan, speciellt för de forskare som vi inte kunde identifiera som tidigare UU-affilierade författare. Givet den listan, så kan vi sedan identifiera de publikationer som tillhör forskningsprogrammen (och med vilken författarandel). Ansatsen har valts baserat på vad för data vi har tillgång till och vad som går att presentera med tillräckligt hög datakvalitet. Denna fältnormerade citeringsstatistik ska betraktas med försiktighet, särskilt för de program och institutioner om den underliggande täckningsgraden för denna statistik är låg, se instruktionerna för detta. Om det finns särskilda aspekter av detta som program och institutioner vill lyfta med panelerna, så ska dessa inkluderas I självvärderingen.

Hur skapar ni publicerings- och citeringstatistiken?

Analogt som i den årliga bibliometrirapporten (följ länk för att läsa mer om Annual Bibliometric Monitoring), dock ger tillägget att med forskningsprogram som analysenheter så krävs ytterligare steg för att förbereda data för analysen.

Var hittar jag information om de bibliometriska data som presenteras, terminologi som används, och det arbete som utförts för att ta fram dessa data?

Se först Base data information document för en beskrivning av de källor som använts och en kort beskrivning av arbetsprocessen. För det andra, se Base Data and Analysis Graphs-arket (publiceras senare) för rådata. För det tredje så kan fakultetskansliet tillhandahålla ytterligare dokumentation om detaljer i arbetsprocessen som du kan vara intresserad av. Skicka din fråga till teknat-kof@uu.se.

För den bibliometriska statistiken som rapporteras så gäller det att nästan alla värden anges som heltal, trots att några indikatorer anges som fraktionerade. Hur många decimaler beräknades ursprungligen?

En decimal (två för MNCS). Se UU ABM2023 som referens. Detta måste beaktas när man betraktar PPtop10%-indikatorn. Rådata finns tillgänglig.

Kan ni förse oss med bibliometrisk statistik för enskilda år?

Det kan vi, men vi har valt att inte lyfta fram denna på grund av den relativa instabiliteten i dessa värden.

Finansiell data

Hur beräknas "Other Internal Research" och vad innehåller den siffran?

FFF+SFO är det belopp av FFF- och SFO-resurser som tilldelats. Övrig intern forskning är skillnaden mellan total intern finansiering som används av programmet/institutionen och det tilldelade beloppet.

FFF+SFO tas från VP22 och total intern finansiering, tillsammans med samfinansiering, hämtas från GLIS/Raindance. Detta innebär att det inte finns någon rådata för Övrig intern forskning. Övrig intern forskning kan exempelvis vara institutionsresurser, tidsbegränsade resurser och särskilda satsningar (se bilaga 2.4, 2.7 och 2.25 i VP22).

Hur samlades data in för grafen ”absolute income graphs (1.4 and 3.11)” och hur ska den användas?

Målet med denna data/information är att särskilja den långsiktiga interna finansieringen (FFF+SFO) från kortsiktigare intern finansiering (co-funding and other) samt från extern finansierad forskning. Det finns dock inget samlat sätt att ta fram denna data. Därför används VP som datakälla för långsiktig intern finansiering (FFF+SFO), och för övrig data GLIS/Raindance. Det innebär att i vissa speciella fall (t ex när det skett stora förflyttningar av interna resurser) kan resultatet bli svåranalyserat. Vänligen se Base Data Information Document för mer detaljer. Denna data är i de flesta fall tillräckligt noggrann för ge en bra överblick över långsiktig intern finansiering i förhållande till andra resurser inom programmen. Om ni inom ett program ser något specifikt som behöver belysas, går det bra att skriva detta i kommentarsrutan.

Varför tittar vi endast på finansiella data från åren 2022 och 2023?

Vi har valt att titta på finansiella data för åren 2022 och 2023 av två orsaker: 1) perioden 2020-2021 påverkades av COVID, och 2) det är oklart vilka trender som panelerna kan extrapolera från fem års historik. Dock, eftersom det kan finnas stora variationer mellan enskilda år, så har vi valt att inkludera två år. Om det skulle vara så att ett av dessa två år var särdeles avvikande, så uppmanas program och institutioner att kommentera detta I rapporteringen, samt att uppmärksamma panelerna på dessa omständigheter.

Varför fokuseras det på utvalda externfinansiärer och bara anslag över tre miljoner kronor?

Frågeställningen kring antalet vetenskapliga anslag av generell karaktär (menandes, utlysningar som är möjliga att söka för alla ämnesfält inom fakulteten) syftar till att försöka ta hänsyn till att olika ämnesfält har olika storlek på de externa anslag som är möjliga att söka. Anslagen som är inkluderade i listan (Vetenskapsrådets projekt-/etableringsbidrag, ERC, och KAW) har alla likvärdiga beviljandegrader för alla ämnesfält på fakulteten. Dock, utrymme finns för programmen att ange andra anslag, vilka kan vara mer fältspecifika. Vi har också valt att sätta en undre gräns på tre miljoner SEK, för att försäkra att det är de viktigaste anslagen som listas och att undvika ett överflöd av information. Om det finns särskilda skäl som program eller institutioner vill lyfta med panelen, så ska de inkludera dessa i självvärderingen.

Vad betyder "start under perioden" i tabell 3.10 (bidrag)?

"Start" betyder att projektet började betala ut pengar under perioden.

Personal

Hur räknar man "full courses" i fråga 6.1?

Målet med detta är att rapportera ungefär (inte exakt) hur mycket av kurserna som undervisas av personer i programmet. Till exempel, om personer i programmet undervisar och har hand om alla föreläsningar och laborationer i en kurs så är värdet 1,0. Men om de bara undervisar en femtedel av kursen så är värdet 0,2. Dessa värden behöver inte vara helt exakta utan gör en tillräckligt bra uppskattning för att ge panelen en så korrekt bild som möjligt av programmets huvudsakliga undervisning.

Vad menas med "course package" i fråga 6.1?

Detta är en informell term som är avsedd att hjälpa program att ange sin undervisning på ett tematiskt sätt utan att behöva lista varje kurse. T.ex. kan ett program undervisa i "parallel programming" som består av fyra separata kurser.

Vilken tidsperidod avses i fråga 6.1?

Utvärderingen gäller enbart åren 2019-2023 och bör återspegla den perioden. Men om det har skett betydande förändringar, ange undervisningen i slutet av perioden och förklara det i texten.

Varför syns inte personal konterade utanför institutionen i personaldata?

Utbildningsprogramansvariga och övriga uppdrag för fakulteten är vanligtvis konterade direkt på fakulteten och kommer inte med när vi söker ut per institution eller forskningsprogram. Om ni vill inkludera dem i självvärderingarna så ange det som en kommentar. Att justera i underlaget är något som måste göras manuellt och extremt tidskrävande då det i så fall måste göras för alla program.

Prioriterade aktiviteter

Varför får inte varje institution skicka in fler prioriteringar?

Detta är en avvägning mellan rättvisa (antalet prioriteringar återspeglar enhetens storlek) och praktiska skäl (inte för många för fakulteten att prioritera). De specifika antalet beslutades av forskningsberedningen.

Det största värdet i denna process ligger dock i de prioriteringar som kan göras lokalt då endast ett fåtal av de prioriteringar som kommer till fakulteten kommer att finansieras.

Ska vi skicka in samma prioriterad aktivitet flera gånger om de delas mellan olika institutioner?

Nej, försök att samordna och lämna in ett som tydliggör vilka samarbeten som finns.

Uppmuntras samarbeten över fakultetsgränserna?

Ja, fokusera dock på hur forskningen stärks inom forskningsprogrammet/institutionen. Men vi kommer inte att vara entusiastiska över att ge FFF:er till andra fakulteter. Kortsiktig samfinansiering kan dock vara mycket intressant.

Måste förslagen vara för FFF:er? (permanent)

Nej, kortsiktiga är bra så länge de förbättrar forskningen. Kom i håg att vårt mål är att inte gå över 50% i FFF:er, så icke-FFF-förslag kan hjälpa.

Är det realistiskt att anta att permanenta resurser (FFF) kommer att anslås till dessa planer eller kommer det bara att vara kortsiktig finansiering?

Vissa av medlen kan tilldelas som permanenta (FFF) medel och andra som tidsbegränsade. Den specifika fördelningen kommer att bero på de inkomna förslagen och fakultetsnämndens kommande beslut.

Övrigt

Varför frågas forskningsprogrammen om något som hanteras på institutionsnivå?

Frågorna syftar till att understödja självreflektion på hur vi arbetar och hur vi kan förbättra oss. Dock, om en fråga inte är relevant för ett forskningsprogram på grund av att programmet inte deltar i denna aktivitet eller att detta hanteras fullständigt på institutionsnivå, så är det lämpligt att återanvända förklaringar givna av institutionen och göra det tydligt i förklaringen. Till exempel, om ingen i forskningsprogrammet deltar i karriärstöd, eller motsvarade, för (biträdande) lektorer och allt detta hanteras centralt på institutionen, så är det lämpligt att hänvisa direkt till institutionens självvärdering. Å andra sidan, om programansvariga professorer eller andra inom programmet deltar i ett sådant stöd, då ska programmet inkludera detta I sin självvärdering

Varför ombeds program att rapportera "användning av infrastruktur" medan avdelningar ombeds att rapportera "stödd infrastruktur"?

Programmen ska ge en prioriterad lista över den viktigaste infrastrukturen som de använder, vilket kan inkludera infrastruktur som de inte uttryckligen betalar för (t.ex. internationella sådana), medan avdelningen inte ska prioritera dem, utan snarare lista var de lägger mest pengar.

Vilken roll kommer panelerna att spela i omfördelningen av basanslag?

Översynen av Basanslag (ÖB) kommer att behandlas i det löpande arbetet i Forskningsberedningen och Fakultetsnämnden. Förslagen som kommer att tas i beaktande för fördelningen kommer först prioriteras av forskningsprogrammet, sedan av institutionen, och därefter mellan institutionerna inom en sektion innan den beaktas på fakultetsnivå. Denna prioriteringen underifrån syftar till att låta eventuella prioriteringar först ske hos de personer som har den nödvändiga ämnesexpertisen. Panelernas kommentarer om hur starka forskningsprogrammen är och deras konkreta kommentarer på förbättringsförslag, kommer att beaktas i den slutliga prioriteringen som görs på fakultetsnivå.

Varför blir menyn i Word på en massa olika språk när jag öppnar självvärderingsmallen i Microsoft Word Online?

Alla samarbetsytor kan visas på både svenska och engelska, och justeras automatiskt beroende på vilken språkinställning du har i webbläsaren. Vill du visa samarbetsytan på engelska så rekommenderas det att ändra språkinställningen i webbläsaren till english US. Andra typer av engelska, som till exempel brittisk engelska, har visat sig ge fel språk i Office online. Det kan alltså visas allt från finska till grekiska när du öppnar ett dokument i webbläsaren om du har språkinställningen brittisk engelska i webbläsaren.

Hur du byter språk i webbläsaren:

Microsoft Edge

Mozilla Firefox

Chrome

Varför måste forskningsprogrammen presentera sin självvärderingsrapport en månad tidigare än institutionerna?

Institutionerna har ansvaret för att prioritera mellan de olika forskningsprogrammens förslag och institutionens egna. För att göra detta möjligt så behöver de forskningsprogrammens förslag före deras egen deadline. Vidare, många av institutionernas självreflektioner kommer att innehålla material från deras forskningsprograms reflektioner.

Varför måste vi lämna in dokumenten i Word-format?

Självvärderingsdokumenten lämnas in i Word-format för att vi ska kunna extrahera svarstexten för varje formulär till ett enda dokument och kunna jämföra data med varandra. Var noga med att inte ändra något i dokumentet annat än att fylla i de rutor och tabeller där dina svar efterfrågas.

KoF24 är en forskningsutvärdering som inkluderar följande fyra aspekter:

1. Forskningens och forskningsmiljöernas utveckling och förnyelse
2. Samverkan med omgivande samhälle
3. Rekrytering, karriärvägar och karriärstöd
4. Samband mellan forskning och utbildning.

Vetenskapsområdet för teknik och naturvetenskap passar på att utnyttja tillfället för att även göra en översyn av forskningsprogrammens basfinansiering (ÖB).

Universitetsgemensam information kring KoF24 och tidigare utvärderingar, samt stödmaterial.

Det önskade resultatet efter KoF24 och ÖB är långsiktig förbättring över hela fakulteten avseende fyra aspekter:

• Forskningens kvalité, genom självreflektion, prioriteringar och extern återkoppling
• Kollegial kultur, genom brett deltagande i diskussioner i forskningsprogram och på institutioner
• Förståelse för hur fakulteten fungerar, genom insamlande av basfakta och delande av goda exempel
• Resursanvändning, genom prioritering av planer på program- och institutionsnivå och stöd baserad på planer och självreflektion

Detta kommer att uppnås främst genom självreflektion och extern återkoppling på våra styrkor och svagheter samt utvecklandet av planer för prioriteringar för den kommande femårsperioden. Läs mer i beslutad tidplan, syfte och upplägg.

• Externa paneler kommer att läsa våra självvärderingar, besöka oss för att diskutera hur vi arbetar och sedan ge oss en slutlig skriftlig rapport med rekommendationer för att höja kvaliteten på forskningen.
• Självvärderingar från såväl institutioner som forskningsprogram ska användas som underlag.
• Basdata tas fram gemensamt (personal, ekonomi, forskarutbildning, användning av resurser, etc) per institutioner och forskningsprogram. På samma sätt kommer bibliometriska data tas fram gemensamt (antal publikationer, citeringar, PPtop10, etc) årsvis för relevant period, per institutioner och forskningsprogram.

För delarna som rör Samverkan med omgivande samhälle, Rekrytering, karriärvägar och karriärstöd, Samband mellan forskning och utbildning ska inte aktiviteterna i sig utvärderas utan istället hur universitetets processer och stöd ser ut kring de aktuella frågorna.

Oktober-december 2023

• Beslutad tidplan, syfte och upplägg i fakultetsnämnden 17 oktober
• Beslut om paneler (beslut i arbetsutskottet december)
• Beslut om självvärderingsformulär och kriterier för utvärderingen i fakultetsnämnden 28 november.Se länk under Mer information nedan.

2024

• Institutioner och forskningsprogram gör självvärderingar, och har tillgång till grunddata. Tentativ deadline 15 april för forskningsprogram och 15 maj för institutionerna.
• Beslut om instruktioner till paneler, fakultetsnämnden i april.
• Vecka 40 - platsbesök paneler.
• Rapporter från paneler beräknas komma under oktober/november.
• Underlagen (självvärderingar+grunddata+panel rapporter) värderas utifrån överenskomna kriterier (forskningsberedningen, synpunkter inhämtas från utbildning- och samverkansberedningen)

2025

• Lägesrapport till fakultetsnämnden. Beslut om ev. tilläggsdirektiv (februari)
• Slutrapport till rektor (februari-april)
• Rektors utvärderingskonferens
• Beredning av Teknats VP-arbete VP26 i forskningsberedningen (maj - augusti)
• Beslut om fördelning av forskningsprogrammens basfinansiering samt om fortsatta översyner och eventuella förändringar i fakultetsnämnden (september)

• Beslutad tidplan, syfte och upplägg i fakultetsnämnden 17 oktober 2023
• Filmad presentation av KoF (fakultetskollegium 7 november 2023).
  Power-Pointpresentation om KoF (från fakultetskollegiet 7 nov)
• PM om hur processen med att ta fram självvärderingsfrågor har gått till Pdf, 113 kB.
• Fastställda självvärderingsfrågor för forskningsprogram Pdf, 401 kB.
• Fastställda självvärderingsfrågor för institutioner Pdf, 386 kB.
  
• Dokument från ÖB19 (Översyn av forskningens basfinansiering) - kräver inloggning med din epostadress och lösenord A
• Dokument från KoF17 - För att få dokument från KoF17 kan prefekter mejla Camilla Maandi (camilla.maandi@uu.se) och begära ut dokumenten.
• Beslut om paneler
• Forskningsprogrammens självvärderingar
• Institutionernas självvärderingar
• Information om basdata

Kontakt: teknat-kof@uu.se