Quality and quantity: HSS research evaluation in Italy. A state of the art

0.37 MB·Italian

by  Paola Galimberti

Qualità e quantità:
stato dell’arte della valutazione della
ricerca nelle scienze umane in Italia
PaolaGalimberti
La valutazione è un processo che richiede chiarezza nelle scelte
legateagliobiettivieallemotivazioni. Unprocessochegeneraco-
noscenze,maancheleutilizza,chepromuoveapprendimentoma
ancheintroducelapropensioneversocomportamentiopportunistici.
Iltemadellavalutazionedellaricerca,isuoiobiettiviegliscopi,ha
attiratol’attenzionedellecomunitàscientifichedisciplinarianche
esoprattuttonell’ambitodellescienzeumane,doveildiscorsosu
quantitàequalitàèsemprestatoaffrontatoconuncertodistacco,
quasifosseuntemanondidirettapertinenza. Leriflessioniinque-
sto ambito hanno però subito una improvvisa accelerazione con
lanominadell’AgenziadiValutazionedelSistemaUniversitarioe
della Ricerca (ANVUR) nel2010 e ancordi più con l’avvio dell’e-
sercizionazionaledivalutazione(ValutazionedellaQualitàdella
Ricerca(VQR)2004-2010),1suscitandocritiche,proposteerichieste
dimodifiche,maanchedandoavvioadunavivacediscussionesu-
gliindicatoriesullemetodichedaapplicare. Nonostanteinmolti
sisianosentitiindirittodiparlareescriveredivalutazionedella
1http://www.anvur.org/?q=schema-dm-vqr-definitivo
JLIS.it.Vol.3,n.1(Giugno/June2012).
DOI:10.4403/jlis.it-5617
P.Galimberti,Qualitàequantità
ricercainquestiultimitempi,2 pochisonodavverotitolatiafarlo.
La valutazione (della ricerca ma non solo) costituisce un’area di
studiodicaratteretrasversalecheassocial’approfondimentodelle
problematiche,teoricheepratiche,connesseall’eserciziovalutativo
(perché si valuta, per chi si valuta, come si valuta, che uso si fa
e si può fare della valutazione) ai contenuti e alle caratteristiche
dell’oggettoedeisoggettisottopostiavalutazione.
In pratica per poter correttamente valutare un prodotto della
ricercanonbastapossederelecompetenzescientifichedellacorri-
spondenteareadisciplinaremaèanchenecessarioaveredimesti-
chezzaconleproblematiche,ancoraunavoltateoricheeoperative,
per poter esercitare detta competenza. E, ovviamente, viceversa.
In Italia manca (o meglio mancava fino a qualche tempo fa) una
veraculturadellavalutazione,mancaunatradizioneseriadistudi
sullavalutazionedellaricerca,mancanocentridigestioneeanalisi
deidaticherappresentinoilriferimentoperchisioccupadique-
stetematiche,3mancaunsistemainformativoefficaceedefficiente,
mancanodatiaffidabiliecompleti,iltuttoancheinragionediuna
domandachefinoranonavevarappresentatounamotivazioneco-
sìrilevanteperattivareuncircuitopositivoingradodisostenere
processitendenzialmentedeboliecontraddittori.
Con l’avvio dell’esercizio nazionale, pur con tutte le contrad-
dizioni e le critiche derivate, le polemiche ma anche i contributi
propositivi, sièassistitoaun’inversioneditendenzachehafatto
emergerecompetenzediffuse,interessiedesperienzepoconotifi-
no a questo momento e che dovrebbero in qualche modo essere
ricondottiaunitàperpoteresseresfruttatiappieno.
2Gliinterventisuquotidianiorivistedivulgative,sublogesitidedicatisisonomol-
tiplicatiinquestiultimitempi,alimentandoundibattitovivaceemoltopartecipato
daidirettiinteressati.
3Un esempio potrebbe essere l’IFQ di Berlino o il CWTS di Leiden o il
Wissenschaftsrat.
5617-2
JLIS.it.Vol.3,n.1(Giugno/June2012)
Ilprimoerrorechesiravvisaneicontributicheappaionoquoti-
dianamenteneigiornali,neiconvegnioneiblogèquellorelativoalla
capacitàdicorrelarelastrumentazionesceltaagliobiettivi(espliciti
eimpliciti)dellavalutazione,ovverolanondistinzionedellivello
acuilavalutazionesiapplicaeladiversanaturadelcommittente,
dacuiderivanopoinecessariamenteoggetto,indicatoriemetodi-
che utilizzati: come se si potessero applicare gli stessi criteri alla
valutazionedeiDipartimentialivellonazionaleoalivellodiateneo,
allavalutazionedeisettoriodeisingoliricercatori. Inrealtàdeve
esserebenchiarochelediversedimensioni(Ateneo,Dipartimenti,
Aree/gruppidiSSD,SSD,individui)nonsonodirettamentescala-
bili o cumulabili o confrontabili, in quanto rispondono a criteri e
metodi diversi di analisi, senza dimenticare che i fenomeni sotto
osservazionesonodinamicienonsemprelarilevazionevienefatta
nelmomentoritenutocorrettorispettoalproblemadaaffrontare.4
Diconseguenzaleclassifichechenederivanosonosemprerelati-
veetendonoallasemplificazionediunarealtàcomplessa.5 Nel2010
ungruppodiespertidellaDGRicercadellaCommissioneEuropea
suAssessmentofUniversity-BasedResearch(AUBR)hapubblicato
un interessante rapporto in cui, fra gli altri argomenti, s’introdu-
ceilconcettodimatricemultidimensionaledellavalutazionedella
ricerca,dacuiemergechiaramentelacomplessitàdeltemaincui
4Inriferimentoall’attivitàdiunDipartimento,diungruppodiricerca,diun
ricercatore. E’possibileinfattichelavalutazioneprendainesameunperiododi
(apparente)inattivitàacuipuòseguireunperiodomoltofecondo, ochenonsi
consideriletrasformazioninellemissionenellecomposizionidellestrutturepiuttosto
cheicondizionamentiesterni.
5Questopuntovatenutoincontonelmomentoincuisidecidequaleusofare
dellavalutazione.
ComebenricordatoaPadovadaGiovanniPascuzzi(Lavalutazionedeiprodotti
scientifici nell’area giuridica) la valutazione incide sull’attribuzione di risorse agli
atenei,sullepolitichedireclutamento,sullostatogiuridicodeiprofessoriesullaloro
retribuzione,sulleprocedureconcorsualiesullasceltadeiprogettidafinanziare.
5617-3
P.Galimberti,Qualitàequantità
hannounruolofondamentalel’unitàscelta,loscopo,ledimensioni
dell’output,gliindicatoribibliometriciealtretipologiediindicato-
ri(ExpertgrouponAUBR).Comesipuòvederenellafigura1gli
indicatoribibliometricisonounaparteall’internodellamatrice,a
cuiperònelladiscussionenazionaleeinternaallecomunitàscientifi-
chedisciplinarièstatoattribuitounpesoforseeccessivo,6facendo
emergereposizioniradicalisiadifiduciachedisfiducia.7
Figura1:Themulti-dimensionalresearchassessmentmatrix. Thistable
presentsacorepartofthematrix,nottheentirematrix.Itaimsto
illustratewhatthematrixlookslike.Itshouldbereadcolumn-wise:
eachcolumnrepresentsadifferentdimension(MoedePlume)
Ènecessarioricordarsichel’universitàharuoliefunzionidiver-
se,difficilmentecumulabiliedesprimibiliconindicisintetici. Ad
6Quasi la valutazione della ricerca potesse essere ridotta agli indicatori
bibliometrici.
7SivedanoalpropositogliinterventisulsitodiROARS(http://www.roars.it)ele
replichediANVUR(ANVUR.Consigliodirettivo;Bonaccorsi).
5617-4
JLIS.it.Vol.3,n.1(Giugno/June2012)
esempiounricercatoremoltoproduttivoedigrandeimpattopuò
essereuncattivodocenteeviceversaolasuaperformancepuòav-
venireascapitodialtrefunzionie/odialtriricercatori. Nellaanalisi
della produzione scientifica di dipartimenti, ricercatori e gruppi
bisognadeciderecomeconsiderarelearee/tematichenuove,come
bilanciareledistorsionideterminatedacomunitàscientifichepicco-
le,chipremiareecomepremiare,comeaumentarelaperformance
complessivaecomegestireleinformazionieleconoscenzechesi
generano,comevalorizzareipercorsimigliorativi. Selaqualifica-
zionescientificaavvieneascapitodialtrefunzionidell’università
bisognavederecomebilanciareruoliefunzionirispettoagliobiettivi
daperseguire. Intuttiquesticasilamatricechesidovràcomporre
saràdiversaediversisarannogliindicatoriutilizzati.
Qualità e quantità
Mentre l’idea della necessità della valutazione dell’università
appareaquestopuntolargamentecondivisaeormaiaccettatada
tuttelecomunitàscientifiche,menocondivisesembranoesserele
finalità8 eancormenolemodalitàattraversolequaliessadevees-
sere realizzata. L’ANVUR ha dovuto predisporre, in pochissimo
tempo, una macchina credibile in grado di associare gli strumen-
ti ai fini dichiarati, dovendo in molti casi svolgere un compito di
indirizzoedigiustificazioneconcettualedellesceltepropostee,in
alcunicasi, disostituzionerispettoainformazioni, competenzee
8”Lavalutazionedellaricercanondeveesserepercepitacomeunmeccanismo
burocraticoocensorio,macomepreziosaopportunitàpermettereafuocoaspetti
nevralgicidellaperformancedellestrutturediricerca”[...](ComitatodiIndirizzo
perlaValutazionedellaRicerca);”Tutteleuniversitàdovrannoripartiredazero.E
quandolavalutazionesaràconclusa,avremoladistinzionetraresearchinguniversitye
teachinguniversity.Adalcunesipotràdire:tufaisoloilcorsodilaureatriennale.E
qualchesededovràesserechiusa”(Fiori,«LaureaDOC.IntervistaaS.Benedetto»).
5617-5
P.Galimberti,Qualitàequantità
”tools”nonsempredisponibili. Inpraticaunamacchinache,anche
in ragione delle scelte fatte sulla quantità e rappresentatività dei
prodottidaconsiderare,permettessedivalutareconmetodichee
indicatori differenti a seconda delle aree disciplinari una enorme
quantità e varietà di lavori di ricerca, con numeri che avrebbero
potuto mettere in crisi sistemi che hanno una tradizione ben più
consolidataqualiquelloaustralianoobritannico.9 Nonostantegli
ostacolilaVQRhapresoavvio,ebenchéipiùscetticisottolineinoil
suocaratterediipotecasullevalutazionifuture(ancheindividuali),
glierrorimetodologici,inevitabilidatoilpocotempoadisposizione,
l’opinabilitàdellesceltecompiute(alcunedecisamentesbagliate),
questoprimopassohageneratoriflessioniediscussioniimportanti
per una evoluzione delle pratiche valutative nell’ambito della ri-
cerca, ha stimolato il confronto spesso anche con toni accesi e ha
portato il discorso sulla valutazione, prima relegato nei nuclei di
valutazioneenegliosservatori,sullepaginedeiquotidiani.10 Alcuni,
datiallamano,sostengonochepiuttostocheunacattivavalutazione
meglionessunavalutazione,econsiglianoall’ANVURdifermarsi
per poter partire con indicatori e metodi più robusti.11 In questa
sedecilimiteremoasottolinearechel’avviodiquestoeserciziodi
valutazionenazionalehaportatoadunaconsapevolezzadiffusache
primaeracompletamenteassenteequestoèunfenomenopositivo.
InItalialecomunitàscientificheafferentialleareedelleScienze
umaneeSociali,corrispondentialleareeCUN10-14,12hannocomin-
ciatosolonegliultimianni(alcunisettorisoloinepocarecentissima)
9LaVQR2004-2010riguarderà195240lavoridiricercae68237ricercatori,numeri
impressionantirispettoaglialtriesercizinazionali.
10SivedaadesempioilpostriassuntivosuROARS(30aprile2012),Ildibattitosui
rankingsdirivistehttp://www.roars.it/online/?p=7836.
11SivedanoadesempioipostdiAlbertoBacciniodiGiuseppedeNicolaosu
http://www.roars.itinmeritoallabibliometriadell’ANVUR.
12Vedremoconunaseriedidistinguoalmenoperl’area13.
5617-6
JLIS.it.Vol.3,n.1(Giugno/June2012)
adoccuparsidiindicatoriquantitativiequalitativi,maafrontedella
scarsaesperienzahannopotutocontaresuun’ampialetteraturasul
tema(ancheinsensocritico)esugliesitideglieserciziportatiavanti
neglialtripaesialivelloeuropeoeinternazionale(Wissenschaftsrat;
KNAW,StandardevaluationProtocol2009-2015;Qualityindicatorsfor
researchintheHumanities;Martinetal.)ehannoavutoquindi(per
chihasaputocoglierla)lapossibilitàdievitarediprenderestrade
giàpercorseeinterrottedachilehaprecedute.
Pertradizioneeancheperunaseriedimotivicontingenti–cro-
nica mancanza di dati (Hicks e Wang; Martin et al.), molteplicità
deicanalidicomunicazionedeirisultatidellaricercadifficilmente
tracciabili dai database citazionali, differenti modalità e tempi ci-
tazionali(HuangeChang;Hellqvist),usodellalinguanazionale–
lescienzeumanehannosempreconsideratolapeerreview,peraltro
spessoesercitatainformenonstrutturate,comel’unicostrumento
divalutazionepossibilepercertiambitidisciplinari. Certamentela
peerreviewèstataapplicataavarilivelliallavalutazionediprogetti,
persone,gruppielavoridiricerca,manonsempreicriteriutilizzati
(dallasceltadeirevisori,allamodalitàdirevisione,allamodalitàdi
decisionenelcasodipareridiscordi)sonostatiresinotiinmaniera
trasparente. Ciòèveroinparticolareperlerivistenazionali(iltarget
perlamaggiorpartedeglistudiosidellescienzeumaneesociali).
Labruscaaccelerazionedeiprocessilegatiallavalutazionede-
terminatasiconl’operativitàdell’ANVURhaprovocatoanchel’ac-
celerazionedelleprocedurediaccreditamentodellesedieditoriali
(collane,riviste,caseeditrici),ancheseèdifficilecapireperilmo-
mentosequantodichiaratodallevarieredazionicorrispondaauna
reale prassi editoriale. Si è dunque avviata una vivace discussio-
ne,nonprivaditonipolemici,sullemodalitàdiconduzionedella
peerreviewpressolesedieditorialinazionali,sulconfrontocongli
standardeuropei,sullaopportunitàdicercaredipubblicareall’este-
5617-7
P.Galimberti,Qualitàequantità
ro(odipubblicareinItaliamautilizzandolalinguainglese)esul
sensodell’utilizzoeaffiancamentodiindicatoriquantitativiperla
valutazionenellearee10-14.
Dovendoattuarevalutazionisuampiascala,checoinvolgono
strutture e gruppi di ricerca la peer review presenta dei limiti, in
particolaresenoninquadrataattraversomeccanismitrasparentie
riproducibili,relativiallaqualificazionedegliesperti13 eadatabase
ricchidiinformazioniatteafavorirelacorrettaallocazionetraogget-
tod’analisieexpertisedelrevisore. Talilimitiriguardanosoprattutto
la credibilità del processo, e la possibilità che rieasca a fornire ri-
sultatiutiliancheinterminidicomparazioneebenchmarking,14eil
meccanismodigestione,onerosointerminiditempiecosti. Sempre
dipiùquindisièaffermata(questoadireilveroancheperlearee
01-09) l’idea dell’impiego della informed peer review,15 cioè di una
revisionedeipariincuialvalutatoresonoresinotialcunielementi
ingradodisupportarneilgiudizioo,eventualmente,dicorreggerlo
eincuiidifettidellavalutazionequalitativasiequilibrinoconquelli
derivantidallavalutazionequantitativa.
Perlescienzedurelapeerreviewvienenormalmenteaffiancata,o
preceduta,dagliindicatoribibliometricicheperònellescienzeuma-
nenonrisultanodisponibiliperunaseriedimotivinoti,sialegatiai
prodotti(eallaloromodalitàdiproduzione)ealletipologiedilavori
diricerca(saggi,monografievs. articoli),siaconnessiallemodalità
13Sivedaades. larispostadiP.P.GiglioliaI.Colozzi,PresidentedelGEV14,
http://www.roars.it/online/?p=8285#more-8285
14Sipensialladifficoltàdiricondurregiudizianaliticiagiudiziquantitativiole
difficoltàderivantidalledimensioniridottedellecomunitàscientificheinalcuni
settoricheannullanoimeccanismiblindcaratteristicidellapeerreview.
15IldocumentodiaccompagnamentodeicriterideiGEV(29febbraio2012),in-
dividua nella informed peer review la tecnica scelta per la valutazione da tut-
ti i GEV, ciascuno secondo le proprie peculiarità e a seconda delle tipologie di
lavorivalutati,http://www.anvur.org/sites/anvur-miur/files/gev/documento_
accompagnamento_criteri.pdf
5617-8
JLIS.it.Vol.3,n.1(Giugno/June2012)
dicitazionechenerendonodifficilelaraccolta(citazioniapie’di
pagina piuttosto che in fondo all’articolo, citazioni a monografie
esaggipiuttostocheadarticoli), oaitempidicitazionechesono
moltopiùlunghicheperlescienzedure. Lastrutturastessadella
comunicazionescientificanellescienzeumane,eilminorinteresse
economico di un mercato esterno alla ”ricerca per la ricerca”, ha
impeditolacreazionedidatabasebibliometriciingradodifornire
indicatoriquantitativiediimpattodellepubblicazioniscientifiche,e
ilavorieglistudiorientatiintalsensosonorimastiperilmomentoa
livellopuramenteteorico.16 Negliultimiannic’èstatounproliferare
diindicibibliometricidivariotipo. Legatiall’autore,allavorodi
ricerca,allarivista. Essiappaionomenocostosidellapeerreview,17
di più facile implementazione e permettono la comparazione fra
strutturegruppiepersone. Gliindicibibliometricipermettonoperò
solodicoglierealcuniaspettidellaqualitàdiunapubblicazione(odi
unautore);sonodebolirispettoallaqualitàintrinseca. Laprincipale
caratteristicacheunindicebibliometricodeveavereèlacoerenza
• rispettoabanchedatidiverse;
• rispettoallepratichedellacomunitàscientificadiriferimento.
Moed(«Themulti-dimensionalresearchassessmentmatrix»)ha
sottolineatocomeconl’avanzaredeglistudisugliindiciel’appli-
cazione degli stessi si sia ormai arrivati alla terza generazione di
indicatoribibliometrici(tabella1nellapaginasuccessiva).
L’elemento determinante ai fini di disporre di indici coerenti
è la disponibilità di dati bibliografici accurati. Questi dati, per le
16Sivedalostudiocommissionatodaalcunesocietàscientificheeuropee(Martin
etal.):inunrecenteconvegnoaVenezialostessoBenMartinhadichiaratochenon
èancorabenchiaroseicostiperlacostituzionediundatabasebibliometricoperle
scienzeumaneesocialisarebberogiustificatidaibenefici.
17Anche se il lavoro di pulizia dei dati prima che possano essere utilizzati è
piuttostolungoeoneroso.
5617-9
P.Galimberti,Qualitàequantità
Tipo(generazione) Descrizione Esempi
Primagenerazione Indicatoridibase,facilida Numerodipubblicazioni,
otteneredafontiattestate, numerodicitazioni,
ormaidisponibilidadecenni metrichedell’impattodellarivista
Secondagenerazione Indicatorirelativionormalizzati Mediadicitazionirelativa
perareadisciplinare onormalizzataperl’areadisciplinare
Terzagenerazione Indicatoribasatisullaanalisi Scimagojournalrank,
avanzatadelnetwork,utilizzando indicatoridel”prestigio”(pesa
parametricome dipiùunacitazionecheviene
lacentralitàdelnetwork daunarivistadimaggiorprestigio)
Tabella1
scienzeumane,nonsonoattualmentedisponibili.18 Anchegliindici
bibliometricihannoattiratounaseriedicriticheeperplessità. Ad
esempioilfattochesonofacilmentemanipolabili,iltimorechenel
lungoperiodol’usodegliindicatoribibliometricipossacondurre
a comportamenti adattivi quali la ricerca di pubblicare su riviste
considerate eccellenti e per le quali è necessario scrivere di tema-
tichemainstreamtrascurandolineediricercapiùoriginalimapiù
”rischiose”dalpuntodivistadell’impattoimmediato,oppureilfat-
to che ci si indirizzi verso tipologie di pubblicazioni considerate
più”redditizie”dalpuntodivistadelriconoscimento(articolovs.
monografia).
In alcuni paesi, ad esempio la Gran Bretagna, l’impiego degli
indicatoribibliometricièstatorifiutatocomeunicafonteinformativa
perlavalutazione19
18Attualmenteesistonoglistrumentidiraccoltadeidati(leanagrafilocali),ma
mancatotalmentealivellocentraleunapoliticadigestioneeraccoltadeidati.Una
policycomunerispettoaidati(chi,cosa,come,suchearcotemporaleesecondoquali
criteridivalidazione)potrebbemodificareradicalmentelasituazione(Capaccionie
Spina).
19Noncosìinaltripaesi:sivedainfattil’Internationalauditofresearchdevelop-
mentandInnovationcommissionatodallarepubblicaCecaaTechnopolisdovericerca-
toridelCWTShannoeffettuatounaanalisisullaqualitàdellaricercabasandosiesclusi-
vamentesuindicatoribibliometricihttp://www.technopolis-group.com/resources/
5617-10