|
VALUTAZIONE. LINEE GUIDA PER LA TRASMISSIONE DEI PRODOTTI DI RICERCA NELLA VQR 2004-2010 |
 |
 |
 |
Questo documento illustra i flussi informativi volti a far pervenire all’ANVUR i dati necessari per la Valutazione della Qualità della Ricerca (VQR) 2004-2010 da parte delle strutture. E’ rivolto ai responsabili delle strutture che dovranno interagire con l’ANVUR, agli Uffici ricerca ed ai responsabili dei sistemi informativi. Si assume che il lettore di questo documento abbia già preso visione del D.M. n.17 del 15/07/2011, istitutivo della VQR 2004-2010, nonché del relativo Bando di partecipazione del 7/11/2011. Per ciascuno dei compiti che il Bando VQR assegna alle strutture, sono descritti gli archivi, le procedure e i flussi coinvolti.
(Fonte: CINECA 07-11-2011) |
|
VALUTAZIONE. I CRITERI DI QUALITÀ |
|
|
|
Il problema è che questi criteri di qualità sono tanto indispensabili quanto spinosi da definire. Se però neghiamo in linea di principio la possibilità di definirli in modo sensato e non meramente arbitrario, allora mi pare che ogni critica ai concorsi o alla qualità della disciplina in Italia si svuoti di significato: infatti non ci sarebbe nessuna base condivisibile per criticare. Si deve, però, evitare anche il pericolo opposto, cioè credere che possano esistere criteri neutrali e “tecnici”, validi in assoluto, sarebbe troppo ingenuo. Un ragionamento sui criteri di qualità per valutare la ricerca è sensato solo se i criteri sono rapportati a un’idea chiara di qualità scientifica. I criteri che poi verranno prescelti saranno appropriati o meno rispetto a questa specifica idea, e non in assoluto. Spiego quindi i criteri che suggerisco di adottare in quest’ottica, per dare poi qualche indicazione operativa. La prima cosa da dire è che, soprattutto in una disciplina multi-paradigmatica come la sociologia, mi pare impossibile giungere a una nozione sostantiva di qualità scientifica che sia condivisibile. I diversi paradigmi differiscono troppo tra loro nei criteri di rilevanza, nelle logiche argomentative, nei criteri di validazione empirica. Cosicché, per fare solo un esempio, Bauman e Giddens sono per qualcuno le massime espressioni della sociologia contemporanea, mentre per qualcun altro sono le massime espressioni della sua decadenza. Potremmo discutere infinitamente sull’argomento, senza giungere mai a un accordo. Questo può piacerci o no, ma è un dato di fatto. Ed è impensabile che un paradigma possa imporre agli altri i suoi criteri di scientificità. E’ molto più sensato, allora, partire da una visione procedurale di qualità scientifica: è di elevata qualità un contributo che ha superato una valutazione rigorosa e una selezione di elevata qualità. Un requisito indispensabile per la qualità della selezione è la peer review. Intanto perché solo se è garantito l’anonimato del referee (e possibilmente anche quello dell’autore), sono possibili (anche se non scontati) giudizi indipendenti e imparziali. Inoltre, ed è il punto decisivo, solo specialisti che si occupano degli argomenti trattati in un dato articolo possono giudicare quanto esso sia innovativo rispetto alla letteratura esistente, se abbia ricostruito accuratamente questa letteratura, se usi metodi appropriati. La peer review ha anche alcuni difetti, ma è il metodo di selezione migliore a disposizione della comunità scientifica ed è di gran lunga quello più usato nelle altre discipline in tutto il mondo.
(Fonte: C. Barone, http://perlasociologia.blogspot.com 09-12-2011) |
|
|
VALUTAZIONE. IL CRITERIO DELLA MEDIANA IN FISICA ED ECONOMIA |
|
|
|
In Italia, seguendo la filosofia di introdurre delle soglie minimali, l'ANVUR ha introdotto il criterio della mediana, secondo il quale i candidati, per essere ammessi alla valutazione, devono possedere parametri indicatori della qualità della produzione scientifica, normalizzati per l'età accademica, superiori alla mediana dello specifico settore concorsuale e della fascia per cui si chiede l'abilitazione. Vediamo brevemente il caso di due campi, fisica ed economia, in cui sono noti i valori di alcuni parametri bibliometrici della comunità dei docenti universitari. Il fisico Paolo Rossi ha raccolto gli H-index dei fisici italiani professori ordinari, associati e ricercatori: circa 3000 unità al 2007. Ricordiamo che un ricercatore ha H-index pari, ad esempio, a 10 se le sue 10 pubblicazioni più citate hanno ognuna 10 o più citazioni e le altre pubblicazioni hanno un minor numero di citazioni. Da questo risulta che il 50% dei professori associati e dei ricercatori in fisica, che hanno delle distribuzioni quasi identiche, ha un indice H superiore a 10, mentre il 50% degli ordinari ha un indice H superiore a 15. Quest'ultima differenza è naturale in quanto l'H-index cresce con il tempo, e dunque va diviso per gli anni di carriera. Gli economisti Cristina Marcuzzo e Giulia Zacchia, in un altro studio, hanno utilizzato la banca dati Econlit, che censisce pubblicazioni rilevanti nel campo dell'economia, per fare un'analisi della produttività dei 1600 docenti d'economia italiani. Uno dei risultati più notevoli di quest’analisi è che ben il 16% degli economisti accademici ha zero records su Econlit. E' ovvio che avere zero pubblicazioni implica che almeno la stessa frazione di docenti abbia ricevuto zero citazioni e zero H-index. Questa conclusione è confermata da un altro studio in cui è stato misurato l'indice H per i 696 ordinari delle discipline economiche con la conclusione che la distribuzione è fortemente asimmetrica, con oltre il 40 per cento dei docenti con valori di H compresi tra 0 e 2, e solo il 5 per cento con superiori a 16.-Dunque la mediana per gli economisti si posiziona su valori molto bassi del parametro bibliometrico di riferimento. Il criterio della mediana, nei due esempi considerati, porterebbe dunque a un risultato paradossale. Invece di introdurre un meccanismo che stimoli il miglioramento dei campi meno brillanti rispetto a quelli più brillanti, si avrà l'effetto contrario: una carriera più semplice nei settori scientificamente più deboli ed una carriera molto più difficile nei settori di punta. L'effetto totale è dunque quello di stabilizzare la situazione già esistente piuttosto che introdurre degli incentivi per migliorarla. A mio giudizio la valanga di numeri che sta per investire l'università e la ricerca italiane non sarà la soluzione di nessun problema, e anzi può essere il nuovo schermo dietro il quale mascherare scelte arbitrarie e opportunistiche nonché, come messo in evidenza da Paolo Rossi, bloccare definitivamente il sistema universitario sotto una valanga di ricorsi e cavilli giuridici. L'aspetto chiave di un sistema sano di reclutamento e promozioni, più che nella valutazione, è nella responsabilità delle scelte. Questo criterio, comunemente usato nei vari paesi cui ogni volta si fa riferimento per imitarne solo un aspetto particolare del sistema, è il grande assente che non può essere sostituito da nessun criterio o parametro bibliometrico.
(Fonte: F. Sylos Labini, Il Sole 24 Ore 05-11-2011) |
|
VALUTAZIONE DELL'ATTIVITA' DI RICERCA IN SCIENZE CHIMICHE |
|
|
|
Nel prossimo Consiglio Centrale di gennaio verrà approvato definitivamente il Documento sulla valutazione. Per permettere a tutti di presentare (tramite i loro rappresentanti in CC) eventuali emendamenti scritti e puntuali si fornisce la bozza del documento approvato preliminarmente per via telematica ed a cui potranno eventualmente apportate correzioni minori.
(Fonte: V. Barone, http://www.soc.chim.it/it/1409 18-12-2011). Il testo integrale. |
|
