Jonas Thern, jag och forskningsfinansiären
Skrivet 2021-12-20 08:19 av Claes Nilholm | 0 kommentarer
Min släkt kommer från Värnamo och där har jag tillbringat nästan alla somrar. Det kan väl knappast ha undgått någon att den lilla stadens fotbollslag kvalificerat sig för allsvenskan i fotboll. Det är lite oklart för mig hur laget leds men tydligt är att den gamle landslagsspelaren Jonas Thern har en helt avgörande roll.
Varför skriver då en professor i pedagogik om detta? Jo, IFK Värnamos framgång påminner mig om ett händelseförlopp för ett antal år sedan när jag sökte pengar för ett projekt hos en forskningsfinansiär.
Min utgångspunkt för projektet var att det inom olika områden finns personer vilka är oerhört framgångsrika pedagoger. Jag hade urskilt ett antal sådana områden alltifrån idrott till matematik. Inom vart av dessa områden skulle en ingående fallstudie av en framgångsrik pedagog genomföras.
Det är förstås svårt att på förhand veta vem som är en framgångsrik pedagog utan det var något som skulle utrönas mer i detalj i projektet. När det gällde att hitta ett fall på en mycket framgångsrik pedagog inom idrotten tänkte jag tillfråga Jonas Thern eftersom en hel del tydde på att han varit mycket lyckosam som pedagog inom detta område.
Thern hade nämligen varit ansvarig för fotbollen på fotbollsgymnasiet i Värnamo där en mängd framgångsrika fotbollsspelare fostrades. Jag läser också någon som menar att Therns tankar om fotboll bidragit till att ändra inriktningen hur fotboll spelas mer generellt i Sverige, också vad gäller landslaget. Om vi använder ämnesdidaktiska begrepp kan vi slå fast att Thern i så fall lanserat vad som kan ses som en ny ämneskonception.
Jag tyckte min idé var mycket intressant. Vad förenar och skiljer mycket framgångsrika pedagoger som arbetar inom olika fält. Finns det återkommande teman? Vilken roll spelar kunskapsinnehållet? Många intressanta frågor kunde formuleras. Men hur gick det då för min ansökan?
”Ingen gillade ditt projekt”
Ansökningsförfarandet var indelat i två omgångar. Redan i den första omgången fick jag beskedet att projektet inte skulle erhålla någon finansiering.
Eftersom jag var nyfiken på skälen till att jag fick avslag vände jag mig till den ansvarige för den bedömningsgrupp dit jag skickat min ansökan. Jag fick vad jag bedömde som en standardmotivering, typ: Det är många som söker och tyvärr finns inte möjlighet att inte ens ge alla bra projekt erhåller finansiering.
Jag stod dock på mig för jag hade lagt ner en hel del tid på ansökan. De flesta forskare ger upp här eftersom de vet att det är utsiktslöst att ändra beslutet och, vad som kanske upplevs som värre (sant eller inte), det kan försämras ens möjligheter framöver om man blir för obekväm.
Forskningen visar dock att forskningsfinansiärer har svårt att bedöma vetenskaplig kvalité på ett reliabelt (och än mindre validerat) sätt (se länk till tidigare blogg nedan). Därför tyckte jag att det var extra viktigt att man redovisade argument när avslag gavs eftersom bedömning av vetenskaplig kvalité är till stora delar avhängig utifrån vilka utgångspunkter den görs.
Diskussionen pågick någon vända på email då jag dristade mig att uttrycka att eftersom lite forskningsdata tyder på att man kan bedöma vetenskaplig kvalité med hög reliabilitet blir det till stora delar socialpsykologiska mekanismer som kommer att styra bedömningen. Den ledamot i bedömargruppen som är vältalig, kan bilda allianser osv. får då större möjlighet att få gehör för sina perspektiv.
Nu upplevde jag att den ansvarige för bedömargruppen blev arg och skrek något i stil med det som står i rubriken för det här stycket (jag vet att det inte går att skrika på email men det var så jag upplevde det). Här begick förstås vederbörande ett klavertramp eftersom det inte är meningen att sådan information ska lämnas ut.
Min poäng är dock inte att kritisera denne, åtminstone inte på detta stadium. Det är klart att man kan bli arg på påstridiga sökanden, framför allt om de har fräckheten att påstå att bedömargruppen kanske inte ägnar sig åt lika rationella processer som den intalar sig. (Dessutom bör det nämnas att jag vid flera tillfällen erhållit större forskningsanslag och har då varit gynnad av denna chansartade bedömningsprocess.)
Men det fanns något ytterligare som skavde här. Det verkade ju som om man, i den mån den ansvariga var sanningsenlig, faktiskt hade gjort samma bedömning. Detta förbryllade mig, eftersom forskningen visar på att det är mycket sällsynt med en sådan enighet i bedömningar. Detta fick mig att söka vidare.
Oj!
Detta är en rubrik jag aldrig använt tidigare i denna blogg. Dock speglar det min reaktion när jag närmare studerade bedömargruppens sammansättning. På finansiärens hemsida hade jag läst att ansökningar från sociologi, pedagogik och psykologi bedömdes av gruppen, vilket fick mig att anta att gruppen bestod av ungefär lika många representanter från vart och ett av dessa områden, kanske något färre från det ämne som innehar ordförandeposten.
När jag i efterhand synade vilka som satt i gruppen fann jag att det var fem stycken med bakgrund i sociologi (inklusive ordföranden), en utbildningssociolog (mer hemtam i sociologi än utbildning enligt min bedömning) samt vad som närmast verkade vara en ”hjärnforskare”, om jag inte minns fel.
Det kan tyckas vara orutinerat av mig att inte ha kollat upp detta tidigare, men dels kunde jag inte föreställa mig att det såg ut på detta sätt, dels har det alltid varit min strategi att skriva ansökningar utifrån vad jag tror kan utveckla mitt kunskapsområde snarare än att undersöka vilka de presumtiva bedömarna är och vad som kan falla dem på läppen.
Det är möjligt att alla detaljer i min redogörelse inte stämmer exakt. Dock var dominansen av sociologi monumental. Hade jag vetat detta hade jag förstås aldrig skickat in en ansökan, allra minst en där syftet är att utveckla en underliggande social praktik (utbildning), vilket jag närmast a priori hade bedömt som ett omöjligt projekt om jag känt till sammansättningen av gruppen.
Möjligen hade jag kunnat snickra ihop en ansökan om att kritiskt granska de idéer om den gode pedagogen som etableras i olika kontexter, i olika historiska epoker och av olika grupper, ”Kampen om den goda pedagogiken” hade förmodligen varit en mer gångbar rubrik.
Alternativt hade det också varit mer fruktbart om statens och marknadens roll hade kunnat problematiseras på något sätt, t.ex. i projekt med tentativa namn som ”Den ”goda” pedagogiken som disciplinering” eller ¨Pedagogik och formerandet av det anställningsbara subjektet”.
Nu kan jag förstås inte veta vad som hade varit gångbart, men det är inte heller min poäng, dock finns det en viktig lärdom i denna korta berättelse.
Vad kan läras av detta?
En lärdom är hur lite i denna förment rationella process som grundades på argumentation. Inget argument presenterades vad gäller ansökans tillkortakommanden och framför allt inte heller vad gällde huruvida gruppen verkligen kunde bedöma vetenskaplig kvalité.
Det verkade tas för givet av den ansvarige, till trots mot forskningsläget som det såg ut vid denna tidpunkt. Jag fick inte heller reda på vilka vetenskapliga överväganden som låg bakom sammansättningen av bedömargruppen.
En större lärdom, och här blir jag kanske lite mer spekulativ, är att vi i hög grad ska förstå denna process som ett utslag av en byråkratisk, snarare än en vetenskaplig, rationalitet. Hur ska vi annars förstå att personer som redan på introduktionskurser i statistik lärt sig att validitet kräver reliabilitet helt bortser från forskning som visar att på problem med att bedöma vetenskaplig kvalité?
Eller åtminstone inte anser sig behöva ge evidens för att sådana bedömningar de facto bedömer kvalité med reliabilitet och validitet? Här kan det vara på sin plats att skjuta in att jag mött denna inställning hos fler forskare än den som var ordförande i denna bedömningsgrupp.
Den byråkratiska rationaliteten grundar sig på regelföljande. Det är något helt annat än en vetenskaplig rationalitet, som har som uppgift att ifrågasätta vedertagna tänkesätt och regler. På det sättet är den goda vetenskapen besläktad med konsten, snarare än byråkratin. Ett byråkratiskt förhållningssätt till forskning är i bästa fall improduktivt och i sämsta fall direkt skadligt.
Bloggen tar nu ett juluppehåll och återkommer den 10 januari då det handlar om friskolorna och demokratin.
Tidigare blogg om svårigheten att bedöma vetenskaplig kvalité, mars 2019: Går det att mäta forskningsansökningars kvalité på ett tillförlitligt sätt?
Citat ur studie från 2021:
Analysing data from 4,000 social science grant proposals and 15,000 reviews, this paper illustrates how the peer-review scores assigned by different reviewers have only low levels of consistency (a correlation between reviewer scores of only 0.2)
Kommenterar: 4 % av utfallet i bedömningar beror alltså på samstämmighet i bedömningarna och 96 % på slumpfaktorer.