|
VALUTAZIONE. CRITICHE ALLE METODOLOGIE SCIENTOMETRICHE |
 |
 |
 |
|
L’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (Anvur), nel quadro dell’elaborazione dei criteri e parametri per la valutazione dei candidati ai fini delle procedure di abilitazione scientifica nazionale (Legge Gelmini), com’è noto, ha adottato l’utilizzazione delle metodologie «scientometriche». Tale decisione risponde a una tendenza, recentemente diffusasi in Italia, a presentare l’utilizzo di tali metodologie, da un lato, come un doveroso adeguamento del nostro paese a principi ormai invalsi nei paesi più avanzati (le cosiddette best practices, alle quali si fa spesso si fa riferimento), e, dall’altro, come il metodo in grado di combattere i clientelismi e le pratiche «baronali» che - secondo tale tesi - avrebbero riempito le Università italiane di ricercatori non meritevoli con i concorsi tradizionali, affidati ai giudizi soggettivi dei membri delle commissioni concorsuali.
Chiunque tenti di avanzare obiezioni all’introduzione di tali metodologie viene - più o meno esplicitamente - accusato di oscurantismo scientifico e di voler difendere metodi baronali. Ovviamente, invece, i sostenitori delle metodologie «scientometriche» sono implicitamente presentati come gli unici difensori del principio del merito e del rigore. È appena il caso di osservare che tali argomenti sono fatti valere da docenti universitari che hanno ottenuto la cattedra proprio grazie a quei concorsi da essi oggi criticati.
Non è per niente vero che nei paesi più avanzati le metodologie scientometriche siano utilizzate per la selezione dei ricercatori e dei docenti universitari né, tanto meno, che tali metodologie siano accettate dalla comunità scientifica internazionale. Coloro che insistono sulla presunta utilizzazione della scientometria all’estero dovrebbero indicare con precisione quali sarebbero i Paesi in cui essa sia utilizzata e le norme o i regolamenti che la adottano. Per quanto riguarda, in particolare, le discipline umanistiche, l’uso, anche parziale, di metodi «scientometrici» è stato criticato con forza proprio dalle istituzioni scientifiche ritenute migliori sul piano internazionale. Ad esempio, in Francia l’autorevolissima rivista Annales ha pubblicato, nel 2008, un intervento redazionale nel quale si spiega per quali ragioni ritenga del tutto inaccettabile la proposta di classificazione delle riviste. Anche in Italia la metodologia «scientometrica» è stata oggetto di critica da parte di molti studiosi. Nell’articolo esteso sono esposte le ragioni di fondo per le quali la cosiddetta «scientometria» non ha alcuna base scientifica come metodo privilegiato e oggettivo per la selezione e la valutazione dei ricercatori e dei docenti universitari. L’articolo vuole confutare l’impianto concettuale ed epistemologico alla base di simili metodologie
(Fonte: E. Di Rienzo e F. Lefebvre d’Ovidio, nuovarivistastorica.it - Volume XCVI - Fascicolo I 2012) |
|
VALUTAZIONE DELLA SAGGISTICA |
|
|
|
|
Se le classifiche delle riviste possono aiutare nella valutazione dei singoli articoli, rimane il problema delle monografie: è sufficiente affidarsi alla peer review o è possibile integrare il giudizio facendosi aiutare dalla casa editrice che pubblica il libro? Qui subentra il patto proposto dai valutatori ai marchi editoriali: siete disposti a darci una mano rendendo trasparenti le vostre "procedure"? Se sì, potremo fare affidamento su di voi. Se no, siete escluse dalla collaborazione. Ma cosa s'intende per "procedure"? Sostanzialmente si chiede di rendere pubblici i criteri adottati dai singoli marchi nella pubblicazione dei saggi storici, e anche i consulenti regolarmente utilizzati e il ricorso a contributi economici. Finanziamenti che arrivano dai fondi di ricerca, dai singoli dipartimenti e anche dalle aziende private. Pratica universalmente diffusa, ma non sempre dichiarata.
La proposta ha diviso gli editori. Il timore è che una rigida classificazione degli editori comporti un sistema di vincoli e norme prescrittive che finirebbero per danneggiare un settore già fortemente indebolito dalla crisi. Per Andrea Angelini «il rischio è quello di burocratizzare il lavoro editoriale. Un editore non è uno stampatore. Esprime una propria visione del mondo e non intende rinunciarvi». Come rispondono i valutatori? Andrea Graziosi, responsabile del Gev 11 ossia dell'area della valutazione che copre le discipline storiche, filosofiche e pedagogiche, ha escluso l'ipotesi di istituire una lista degli editori e un elenco di norme prescrittive. «Quel che chiediamo agli editori non è di aderire a liste, ma di rendere pubbliche procedure che spesso rimangono avvolte nell'oscurità, inducendo molti a pensare che si riesca a pubblicare solo grazie a giuste conoscenze. E anche il ricorso al sostegno finanziario, necessario per l'edizione di alcune opere, è cosa legittima. L'importante è che l'editore lo dichiari». Andrea Romano, oggi editor di Marsilio: «La struttura del mercato editoriale ha ridotto gli spazi a disposizione della saggistica di ricerca storica. Ne consegue che, quando si tratta di accogliere un titolo storico nelle proprie collane, le esigenze commerciali si fanno sentire. Esiste una pratica diffusa nel mondo editoriale, che consiste nel pubblicare titoli con il sostegno finanziario di dipartimenti, facoltà e aziende private».
A Romano, in controtendenza rispetto al parterre di editori, piace l'idea di un albo nel quale accreditarsi esibendo le procedure utilizzate. «Non vogliamo interferire in alcun modo nelle vostre scelte», ha detto Benedetto, «Però sentiamo il dovere di sollecitare criteri di rigore, imparzialità e trasparenza per condividere comuni obiettivi».
(Fonte: S. Fiori, La Repubblica 03-05-2012) |
|
VALUTAZIONE. PROBLEMATICHE DI INDICIZZAZIONE CON GOOGLE SCHOLAR |
|
|
|
Google Scholar non indicizza tutti gli articoli pubblicati e nemmeno tutte le riviste, e come esempio più che esemplificativo basti ricordare che le ben note riviste di Elsevier non sono apparse su tale motore di ricerca che nella metà del 2007 e ancora nel 2008 non erano stati inclusi gli ultimi anni degli articoli relativi alle celebri riviste dell’American Chemical Society. Tra l’altro, è impossibile conoscere lo stato di aggiornamento dell’Impact Factor, in quanto Google non rilascia la data in cui la singola rivista è stata scansionata dal suo crawler, con forte rischio d’iniquità e obsolescenze. Tali problematiche crescono in maniera esponenziale se si prende in conto che non tutti i testi sono liberamente scansionabili dal crawler di Google, sia per ragioni legali legate ai diritti d’autore, sia per ragioni puramente tecniche legate alle policy interne e alle tecnologie informatiche dei differenti database che accolgono le diverse pubblicazioni scientifiche. Tutto ciò basterebbe da solo a considerare l’utilizzo di Google Scholar in maniera molto cauta! Ma è d’obbligo far notare che Google Scholar, assegna un alto valore alle citazioni nel suo algoritmo di ranking, risultando quindi vittima del cosiddetto “effetto Matthew”, in base al quale i documenti più citati appaiono nelle prime posizioni, mentre quelli nuovi restano in coda… con la facile conseguenza che chi si trova al Top otterrà sempre più attenzione e citazioni, a discapito delle nuove pubblicazioni. Inoltre, come spiegato da J. Beel dell’Università di Berkley e B. Gipp dell’Università di Magdeburgo, i risultati di Google Scholar possano essere facilmente manipolati, persino con l’introduzione e l’indicizzazione di articoli senza senso creati da tool come SCIgen, un programma creato dai ricercatori del MIT per generare articoli senza senso che però includano un vocabolario scientifico, citazione, grafici, alla stregua di veri articoli scientifici. Tuttavia Google Scholar resta un fantastico strumento per la facile ricerca di articoli scientifici grazie al suo facile utilizzo e alla potenza del suo motore di ricerca, spesso molto più valido ed ergonomico dei database in cui si trovano originariamente gli articoli scientifici, ma non potendone controllare e gestire le succitate problematiche, resta uno strumento non propriamente adatto a essere utilizzato come riferimento “ufficiale” per l’indicizzazione delle riviste scientifiche.
(Fonte: M. Gambardella, roars 03-05-2012) |
|
|
VALUTAZIONE. NEL MIRINO (COME AL SOLITO) LA BIBLIOMETRIA DI UN GEV |
|
|
|
|
Il Gruppo di esperti valutatori dell’area 13 (GEV13) ha pubblicato un comunicato chiarificatore dei criteri che saranno utilizzati nell’imminente tornata di valutazione della qualità della ricerca (VQR). Più che chiarire, il GEV13 ha in verità ribadito che si atterrà ai criteri delineati nel precedente documento del 29 febbraio, nel quale era esposta un’inedita bibliometria di cui già si sono sottolineati gli ampi margini di incertezza e indeterminazione, soprattutto per quanto concerne le discipline storico-economiche dell’area 13. L’incertezza ha ora lasciato il posto all’aleatorietà e alla peggior discrezionalità, dovuti agli effetti di un uso distorto degli strumenti bibliometrici. Gli esperti dell’area 13 hanno certamente individuato procedure rigorosissime per la formazione della classifica delle riviste economiche, basate sull’oggettività bibliometrica. Ma quelle regole conducono a una situazione insostenibile, fonte d’imbarazzo per alcuni componenti dello stesso GEV. La possibilità di utilizzare una classifica unica di riviste per il SUB-GEV di economia, basata sullo stesso metro bibliometrico tanto per le discipline economiche quanto per quelle storico-economiche, si rivelerà di fatto insostenibile. Ed è molto probabile che l’ordinamento bibliometrico subirà successivi aggiustamenti, per forza di cose arbitrari. Qualsiasi sequenza di regole ben congegnate, dice G. Orwell, dovrebbe essere immediatamente disfatta qualora conduca a risultati “tremendi”. A noi pare che gli aggiustamenti discrezionali e arbitrari che saranno fatti alla classifica appartengano al genere dei risultati “tremendi”. (Fonte: T. Maccabelli, roars 04-05-2012) |
|
VALUTAZIONE. CRITICHE ALLA CLASSIFICA DI RIVISTE |
|
|
|
L'Anvur ha deciso di produrre delle liste di riviste, assegnando a ciascuna un rating. Perché si fa ricorso a classifiche di riviste? Per facilitare e rendere meno costoso il processo di valutazione. Una volta definita la classifica, la valutazione di qualsiasi articolo può essere automatizzata. Inoltre si vuole orientare gli studiosi a pubblicare nelle sedi migliori. È possibile sollevare critiche all'uso di classifiche. Potrebbero inaridire la ricerca, favorire i temi alla moda, ridurre il pluralismo. Esperienze internazionali mostrano che l'uso di classifiche di riviste ha riflessi negativi sull'editoria scientifica. La valutazione condotta in Australia nel 2010 si è fondata esclusivamente su classifiche di riviste; gli effetti negativi rilevati in seguito hanno indotto l'agenzia australiana ad abbandonarne l'uso. L'Anvur ha usato due tecniche diverse per la compilazione delle classifiche. Per le scienze dure si è fatto ricorso a strumenti bibliometrici. Per le scienze umane e sociali esse sono state costruite attraverso la consultazione delle società disciplinari, il parere di esperti anonimi e degli stessi valutatori. Si configurano quindi più come risultato di una concertazione accademica che dell'applicazione di criteri obiettivi. Il processo di costruzione di queste liste, che nelle esperienze estere ha richiesto anni e il coinvolgimento della comunità scientifica, in Italia è stato approntato in poche settimane dai valutatori stessi. Da queste anomalie d’impostazione hanno origine alcune incongruenze. Fra le riviste di scienze giuridiche mancano molte di quelle considerate di punta a livello internazionale (a partire dalla «Harvard Law Review»). Nelle scienze giuridiche, così come in altre aree disciplinari, vi sono riviste cui è assegnato un rating diverso a seconda della disciplina cui si collega il paper pubblicato. Per quale motivo? Non è lo stesso il comitato scientifico, non sono gli stessi i criteri di selezione e la diffusione nelle biblioteche? Inoltre, non sono stati resi noti i criteri sulla base dei quali sono state formate, e quindi le liste non sono verificabili. Nonostante l’esercizio di valutazione sia già partito, le liste delle riviste di economia ancora non sono pubbliche.
(Fonte: A. Baccini, A. Banfi, Corsera 30-04-2012) |
|
VALUTAZIONE. PIÙ SI CONCERTA MENO VIRTUOSAMENTE SI VALUTA E SELEZIONA |
|
|
|
|
Un tema rilevante è quello della valutazione della ricerca universitaria e dei concorsi accademici. Il dibattito su come valutare continua, ma dall'avvento dell'università di massa non riusciamo a venirne a capo. Questioni di metodo s’intrecciano con questioni di scuola (e a volte anche di parentele), generando confusione tra obiettivi e strumenti. Anche qui autonomia, terzietà e trasparenza dei processi rafforzerebbero la legittimazione dei valutatori contribuendo a rafforzare una cultura diffusa. L'esito preferibile di un concorso universitario è che uno studioso della scuola A promuova un candidato della scuola B perché le regole e la pratica della valutazione - nonché la sua stessa convinzione - glielo suggeriscono. Un libro dei sogni? Forse, ma direi che se non ci adeguiamo presto alle migliori pratiche europee il declino si accentuerà. Che cosa rende così difficile per noi condividere e sostenere una cultura della valutazione secondo i criteri di cui sopra? Le motivazioni sono molte, ma la pratica della concertazione da noi per lungo tempo invalsa è un elemento rilevante. Scendendo dai piani nobili dei palazzi del potere ai corridoi un po' bui di segreterie e dipartimenti, più si concerta meno si valuta e seleziona virtuosamente. La concertazione con le rappresentanze degli interessi, nessuno escluso, va bene per individuare grandi linee programmatiche, ma non se impedisce di valutare in modo corretto. (Fonte: smanzocchi@luiss.it, IlSole24Ore 01-05-2012) |
|
