|
VALUTAZIONE. PEER REVIEW. LACUNE E CRITICHE |
 |
 |
 |
|
Se il sistema della peer review da una parte permette un processo selettivo sulla qualità ed i contenuti di assoluto rispetto, dall’altra non è esente da lacune e critiche. Un primo punto discutibile consiste nella reale imparzialità del revisore, infatti, non è raro assistere a pubblicazioni dai contenuti non di alto livello all’interno di riviste piuttosto importanti (in funzione del settore di interesse) e ritrovare articoli dai contenuti qualitativamente più elevati non pubblicati sulle stesse perché rifiutate durante la fase di peer review, oppure assistere alla richiesta di aggiunta di citazioni bibliografiche in qualche modo riconducibili al revisore stesso. Ovviamente per ridurre questo fenomeno è tipico l’impiego di almeno due revisori e, nel caso di revisioni ritenute discutibili, è possibile interpellare l’editore affinché controlli la bontà delle revisioni ed eventualmente sostituisca il revisore in discussione. Un secondo punto è legato all’eccessiva rigidità che questo sistema presenta davanti a temi la cui scientificità è oggetto di discussione, perché sebbene questo sistema permetta di evitare lo “spam scientifico“, dall’altra può anche generare “falsi positivi” a tale riguardo. Pertanto è evidente come la ricerca scientifica presenti peculiarità e difetti analogamente ad ogni altra attività, ma nonostante ciò abbia rappresentato e continui a rappresentare una forza trainante per l’innovazione e per lo sviluppo di un paese. (Fonte: Comunicato del GEV13 02-04-2012) |
|
VALUTAZIONE DELLA RICERCA. DA DOVE VIENE LA CENTRALITÀ DELLA VALUTAZIONE |
|
|
|
Sono da poco usciti, per le varie aree in cui è stata "spaccata" la ricerca, i Criteri cui si atterranno i Gruppi di Esperti della Valutazione (GEV) del VQR. Ovunque si vuole ridurre al minimo la discrezionalità dei valutatori. Nelle discipline economico-statistiche si privilegiano criteri bibliometrici, con cui si pretende di misurare la qualità e l'impatto della ricerca con tecniche matematico-statistiche. Al primo posto ci sono gli ordinamenti delle riviste secondo graduatorie per classi stabiliti da sottogruppi del GEV. Un ruolo parziale ha la peer review (il giudizio dei pari mediante revisori anonimi) effettuata in sede dello stesso VQR. Si promette una considerazione di volumi e capitoli secondo rilevanza, originalità, internazionalizzazione, diffusione, prestigio accademico dell'editore. Nelle discipline umanistiche e giuridiche i libri hanno un ruolo più centrale, e vengono valutati in base alla casa editrice. Burgio e Marella (“Università, la valutazione sbagliata”, A. Burgio e M. R. Marella, Il Manifesto 21-03-2012) insistono sulle conseguenze a danno della piccola e media editoria. Hanno molte ragioni. Pensiamo sia però sbagliato tacere che qui c'è una distorsione grave. L'editoria accademica italiana è sovvenzionata: chi pubblica deve pagare l'obolo di destinare i propri fondi di ricerca alla pubblicazione del proprio libro. Vale per i piccoli editori, ma non di rado anche per i medi e grandi. Il mercato è drogato: chi ha più fondi (dunque, chi ha più potere dentro le varie sedi universitarie) è avvantaggiato. Pensare di risolvere questo problema stilando una graduatoria delle case editrici è illusorio, esattamente per le ragioni addotte da Burgio e Marella: la scarsa trasparenza, la spuria gerarchia tra ricercatori e case editrici, l'impoverimento del panorama culturale, la colonizzazione del privato. La medicina aggrava la malattia, non la cura. Le discipline economiche sono paradigmatiche per quel che riguarda il ruolo delle riviste nel VQR. La valutazione indiretta tramite indici bibliometrici richiede grande cautela, perché lo strumento è fallato all'origine, e dovrebbe svolgere un ruolo secondario. Gli ordinamenti qualitativi delle riviste sono costruiti sulla base dell'idea che vadano valorizzate quelle che garantiscono una "valutazione diretta" (l'effettiva lettura) per il tramite della peer review. Ciò presuppone quanto si fa innocentemente finta di non sapere. Che nelle scienze sociali e umanistiche (ma nelle scienze "dure" è davvero poi tanto diverso?) non esista una scissione radicale tra "stili di ragionamento scientifico", o se preferite "paradigmi", in conflitto tra di loro e in qualche misura incommensurabili. La valutazione, pretendendo che quel conflitto e quella incommensurabilità non esistano, privilegerà i vari mainstream. Inoltre, la peer review penalizza per costituzione ogni pensiero originale e innovativo all'interno delle diverse scuole. Non vi è sostituto alla responsabilità di un giudizio personale (non anonimo) e motivato (dunque disteso). Tutto il contrario del VQR, dove i giudizi sono anonimi, vincolati a un numero limitato di parole. Il nodo di fondo è semplice. Va garantita la pluralità, non il pluralismo. Il pluralismo è l'atteggiamento mendicante delle eterodossie che supplicano di non essere cancellate. La pluralità impone il riconoscimento di visioni, paradigmi, stili in radicale lotta per l'egemonia. Un mondo dove non si può dare per principio "consenso unanime": dove anzi il dissenso è un valore e le minoranze una risorsa. La conseguenza è doppia. Nella valutazione, non è possibile costruire alcun meccanismo che non discenda da un progetto culturale.
(Fonte: R. Bellofiore e G. Vertova, Il Manifesto 22-03-2012) |
|
VALUTAZIONE. OSSERVAZIONI A MARGINE DI UN CONVEGNO SULLA VALUTAZIONE DELLE HUMANITIES |
|
|
|
Nell’introdurre il convegno organizzato il 21 marzo a Roma dal PD su “La valutazione della ricerca in ambito umanistico” il deputato Eugenio Mazzarella, ordinario di filosofia teoretica presso l’Università degli Studi di Napoli Federico II, ha toccato alcuni punti chiave che si inseriscono più che appropriatamente nel dibattito attuale intorno al destino delle discipline umanistiche e alla loro valutazione. Ma è soltanto a partire da considerazioni più generali e cioè nel quadro di un progetto culturale e politico più ampio che dovrebbe situarsi la discussione intorno alla valutazione dell’attività di ricerca nell’università proprio nel campo umanistico. Mazzarella ha giustamente suggerito di interrogarsi sul quel “secondo livello” di valutazione e cioè sul cosa fare quando affioreranno delle “zone d’ombra”, dei vuoti, delle mancanze di contributi rilevanti alla ricerca. Anche qui l’allusione, mi pare, al tema rilevantissimo del destino complessivo dei dipartimenti ed atenei sottoposti alla valutazione appare quanto mai appropriata, e tuttavia, salvo qualche eccezione, non è stata raccolta nella discussione che è seguita all’intervento di Mazzarella. Molti relatori si sono concentrati – anche perché questo era stato l’invito da parte degli organizzatori del convegno – sul tema specifico della valutazione delle Humanities in termini di criteri, ranking/rating delle riviste, distinguo tra diverse discipline, criteri bibliometrici e/o di peer review. Insomma, è emersa tutta una “contabilità” della ricerca, anche interessante, nella quale però sembra che sia sfuggito quello che dovrebbe essere il vero oggetto di discussione. Sintomatico il fatto che nessuno abbia parlato per esempio di “innovazione” (metodologia, storiografica etc.) come uno dei criteri chiave per valutare un contributo scientifico. Chi ne ha parlato, alla fine, è stato invece il ministro, nel momento in cui ha parlato di “social innovation” come uno dei punti da integrare a Horizon proprio per sostenere e valorizzare il ruolo delle discipline umanistiche e delle scienze sociali. Più in generale quel “che fare?” è rimasto come sospeso nel vuoto, come se non sia interesse e compito non solo della politica ma anche di chi in questo momento dialoga con essa discutere di strategie più generali di intervento sull’università.
(Fonte: L. Roscioni, ROARS http://www.roars.it/online/?p=6364 27-03-2012) |
|
|
VALUTAZIONE. CHIARIMENTI DELL’AREA SCIENZE ECONOMICHE E STATISTICHE |
|
|
|
|
Il GEV13 (Area: Scienze Economiche e Statistiche) comunica che entro il 30 aprile saranno messi a disposizione della comunità scientifica gli elenchi delle riviste e gli indicatori bibliometrici che il GEV13 considererà ai fini della classificazione dei lavori per cui è prevista l’analisi bibliometrica (articoli su rivista). A seguito di alcune richieste di chiarimento pervenute al GEV dal sito Anvur, dalle società scientifiche e dai singoli docenti, il GEV13 desidera chiarire o ribadire (leggi nel link) alcuni punti relativi ai criteri della valutazione. (Fonte: Comunicato del GEV13 02-04-2012) |
|
VQR. SOGLIE BIBLIOMETRICHE SPECIALI PER PARTE DEL GEV09 |
|
|
|
Nella VQR, il GEV09 - ingegneri industriali e dell’informazione (ingegneri informatici esclusi) - è l’unico ad usare delle soglie bibliometriche speciali che in media danno punteggi 1,4 volte maggiori rispetto alle regole del bando VQR adottate dagli altri GEV “bibliometrici”. Con queste regole la VQR è una partita le cui regole favoriscono i dipartimenti di ingegneria di area 09 e, soprattutto, i politecnici a danno degli atenei generalisti. Se il coordinatore della VQR è consapevole di questa anomalia ha il dovere di spiegare alla comunità scientifica perché si è deciso di concedere questo vantaggio a parte dell’Area 09. Un vantaggio difficilmente giustificabile anche alla luce delle sue dichiarazioni: «Tutte le università dovranno ripartire da zero. E quando la valutazione sarà conclusa, avremo la distinzione tra researching university e teaching university. Ad alcune si potrà dire: tu fai solo il corso di laurea triennale. E qualche sede dovrà essere chiusa.» Se si tratta di un errore, ci domandiamo che senso abbia andare avanti in questo modo, anche perché gli errori presenti nei criteri non si fermano, purtroppo, a quanto segnalato in questo articolo. Si può continuare lungo questa strada senza compromettere la credibilità dell’esercizio di valutazione, dei soggetti istituzionali coinvolti, e degli eccellenti studiosi, membri dei GEV, che hanno accettato di mettere a disposizione le loro competenze senza sospettare le lacune metodologiche e strutturali che li attendevano? Fermarsi per il tempo strettamente necessario a rivedere radicalmente il bando della VQR con l’ausilio di esperti, anche stranieri, competenti in valutazione e bibliometria sarebbe a questo punto un gesto di responsabilità da parte del Ministro del MIUR e del Presidente dell’ANVUR.
(Fonte: G. De Nicolao e G. Baccini, http://www.roars.it/online/?p=6280 24-04-2012) |
|
VQR. IL LIMITE INFERIORE DELL’ACCETTABILITÀ SCIENTIFICA |
|
|
|
E’ in corso sull’imminente Valutazione della Qualità della Ricerca in Italia (VQR 2004-2010) un intenso dibattito, in cui non mancano prese di posizione fortemente critiche, sia sui suoi principi ispiratori sia sulle sue modalità applicative. Ma non sembra vi sia stata discussione sulle percentuali fissate dal ministero come soglie per identificare le diverse classi di merito dei prodotti, e in particolare sulla soglia che individua il limite inferiore dell’accettabilità scientifica. Come è noto, la valutazione si tradurrà nell’attribuzione a ciascun prodotto di una delle quattro fasce di merito – A (eccellente), B (buono), C (accettabile), D (limitato) – con conseguente assegnazione dei pesi 1, 0.8, 0.5, e 0. Il Decreto Ministeriale e il successivo Bando VQR danno inoltre precise definizioni quantitative per l’identificazione delle classi di merito: la classe A dei prodotti eccellenti sarà riservata ai prodotti che si situano nel top 20% della classifica di qualità condivisa dalla comunità scientifica internazionale; la classe B conterrà i prodotti che si situano nel segmento 60-80%; la classe C nel segmento 50-60%; la classe D, infine, trascurando il problema della classe E qui non rilevante, prodotti situati nel 50% inferiore della classifica scientifica internazionale. Il ministero ha in sostanza individuato una sorta di formula magica – 50, 10, 20, 20 – il cui significato statistico può così riassumersi: “Un articolo scelto a caso in un insieme omogeneo di tutti gli articoli pubblicati nel mondo ha una probabilità di essere classificato come eccellente, buono, accettabile, limitato pari a 0,2, 0,2, 0,1, 0,5, rispettivamente”. Leggendo e rileggendo in questi giorni la sequenza di numeri, due aspetti hanno continuato ad apparirmi anomali: la percentuale esigua (10%) dei prodotti potenzialmente classificabili come accettabili e la soglia del 50° percentile per poter raggiungere tale classe di merito. Quel 10% posto proprio dove la distribuzione dovrebbe essere più densa, mi aveva addirittura fatto pensare a un errore casuale nella sequenza delle percentuali: immaginavo, infatti, più sensato, prendendo per buone quelle percentuali, che la soglia dell’eccellenza dovesse collocarsi nel 90° percentile, così da formare classi potenziali del 10% di prodotti eccellenti, del 20% di prodotti buoni, del 20% di prodotti accettabili e del 50% di prodotti limitati. Ma soprattutto, ho continuato a guardare con incredulità a quella percentuale del 50% destinata a separare in modo perentorio prodotti ritenuti accettabili – che saranno pesati 0,5 – da quelli ritenuti limitati, destinati ad avere un peso nullo.
(Fonte: T. Maccabelli, http://www.roars.it/online/?p=6386#more-6386 25-03-2012) |
|
