|
La misura delle citazioni |
 |
 |
 |
|
Google e Microsoft scendono in campo, sostiene Nature, per “democratizzare» il sistema internazionale di valutazione degli scienziati. La rivista inglese, la più nota al mondo in ambito scientifico, si riferisce al fatto che Google ha inaugurato il mese scorso il Google Scholar Citations (GSC), un sistema gratuito e partecipativo per verificare quante citazioni riceve un articolo scientifico, mentre Microsoft nei mesi scorsi ha potenziato il Microsoft Academie Search (MM), un sistema ad accesso libero che si prefigge i medesimi obiettivi. La citazione da parte di un proprio collega non è altro che il riconoscimento di importanza del lavoro fatto da uno scienziato. La misura delle citazioni è, dunque, un sistema di valutazione per individuare in maniera sempre più obiettiva il merito. La questione sembra essere molto tecnica e interessare gli appassionati di scientometria, ovvero quella sorta di metascienziati che hanno come oggetto di studio la scienza e le pubblicazioni degli scienziati. E, invece, è di interesse generale. Per almeno due motivi. Il primo è che questo sistema - finora gestito a pagamento da alcuni centri - diventa gratuito e partecipato. Il secondo motivo riguarda l'efficacia degli strumenti. Nessun dubbio che, se ben costruiti, i sistemi di citazioni siano obiettivi. E pochi dubbi, anche, che si possono approntare sistemi per individuare i furbi. Tuttavia molti sospettano che la conta obiettiva del numero di citazioni e persino l'h-index siano una misura dei muscoli, piuttosto che del cervello degli scienziati. L'h-index del fisico teorico Ed Witten, per esempio. risulta cinque volte superiore a quello di Paul Dirac e addirittura venti volte superiore a quello di Albert Einstein. Con tutto il rispetto per Witten, grandissimo fisico teorico, forse l’h-index non ci dice tutto. (Fonte: P. Greco, L’Unità 08-08-2011) |
|
La qualità scientifica per i concorsi di abilitazione alla docenza |
|
|
|
L'innovazione forse più importante della riforma Gelmini riguarda le commissioni di abilitazione, prevedendo che i commissari debbano possedere un curriculum scientifico coerente con i criteri e i parametri utilizzati per la valutazione dei candidati. In sostanza, si afferma il principio – sacrosanto – che chi valuta deve possedere almeno lo stesso livello di qualità scientifica richiesto ai candidati per ottenere una valutazione positiva. Perché queste non restino affermazioni di principio, però, occorre occuparsi dei criteri e dei parametri. La neonata Agenzia nazionale per la valutazione del sistema universitario e della ricerca (Anvur) ha proposto un criterio valido per tutte le aree scientifiche, che si traduce in valori numerici di parametri adattabili alle diverse realtà dei settori concorsuali. Il criterio è quello del superamento della mediana di uno o più indicatori di qualità. Senza entrare in tecnicismi, chi aspira a diventare professore associato (o ordinario) deve possedere uno o più indicatori della qualità scientifica almeno pari a quelli della metà "migliore" dei professori. Per la sua natura intrinseca, questo meccanismo conduce a un lento miglioramento progressivo della qualità scientifica dei docenti. Lo stesso criterio può essere applicati ai candidati commissari, comportando l'esclusione dalla lista di almeno la metà dei professori ordinari di ogni settore concorsuale. Sono dunque giustificate e comprensibili l'ampiezza e la varietà di reazioni suscitate dalla proposta Anvur. Qualcuno ha criticato – non senza sarcasmo – l'esterofilia di «una parte degli intellettuali italiani». Altre critiche si appuntano sul fatto che gli indicatori di qualità individuati dall'Anvur sono diversi per le scienze "dure" e scienze della vita e per le scienze umane. Il motivo è semplice: mentre per le prime sono disponibili indicatori bibliometrici quantitativi della qualità scientifica (ampiamente condivisi dalla comunità scientifica internazionale e facili da calcolare), per le seconde l'individuazione e il calcolo degli indicatori sono più complicati e discutibili. Si potrebbe dunque, com’è già stato fatto in alcuni Paesi, promuovere con le società scientifiche di quelle aree una indagine approfondita tesa a classificare riviste e monografie in classi di qualità, così da arrivare anche nelle scienze umane alla definizione di indicatori quantitativi condivisi della qualità scientifica.
(Fonte: S. Benedetto, Il Sole 24 Ore 01-08-2011) |
|
|
Potenzialità e rischi dell’ANVUR |
|
|
|
|
Di recente ha iniziato a operare l'Agenzia nazionale di valutazione del sistema universitario e della ricerca (Anvur), il cui primo documento su "Criteri e parametri per l'abilitazione nazionale” mostra la potenzialità della nuova istituzione e i rischi ai quali è esposta.
Le due novità principali sono l'utilizzo della mediana per migliorare la selezione dei candidati e, specialmente, dei commissari di concorso (vengono reclutati i docenti che si trovano - per qualità scientifica - sopra la mediana, il valore centrale della graduatoria) nonché il ricorso a database internazionali con uso di indici bibliometrici. L'opzione internazionale è fuori discussione: studiosi che hanno ampliato a livello internazionale l'arena conoscitiva in cui operano, anche studiando temi o applicando metodologie nazionali o locali, hanno maggiori probabilità di essere studiosi di qualità e formatori di capitale umano avanzato. Anche l'adozione della mediana e degli indici è interessante: quale soggetto valutatore non cerca un modo sintetico, efficace, non discutibile, un voto (o un indice) per classificare gli studenti, nel nostro caso gli studiosi, e impostarlo in chiave evolutiva? Però fra il dichiarare il merito e applicarlo, lo spazio è enorme. E qui si trovano i rischi maggiori per l'Anvur. L'applicazione meccanica di criteri e parametri a una realtà complessa come un'università o un sistema universitario rischia di smentire a priori i benefici attesi. La valutazione, cioè, di là dagli aspetti tecnici o numerici, è innanzitutto un processo e un aspetto della politica organizzativa e gestionale.
Nella prima proposta Anvur ci sono aspetti tecnici da migliorare: database diversi ammettono pubblicazioni differenti e portano quindi a indici di performance eterogenei per lo stesso studioso o diversi per studiosi con produttività simile ma di aree disciplinari differenti. E ci sono aspetti organizzativo-culturali da approfondire. Ad esempio: per l'area giuridica, notoriamente "nazionale" per leggi e istituzioni, l'enfasi all'internazionalizzazione va attentamente calibrata; lo stesso per l'area umanistica. Inoltre, in aree come medicina, ingegneria, fisica, agraria e veterinaria, convivono sezioni pienamente inserite nella competizione internazionale e altre che sono a stadi intermedi; lo stesso vale per l'area dell'economia aziendale, che l'Anvur aveva proposto addirittura di spaccare in due applicando metodi di valutazione diversi.
In sostanza, le novità annunciate per essere davvero efficaci vanno applicate agli stadi evolutivi delle diverse discipline e non calate in modo meccanico e pressoché uniforme sul sistema o su due parti dello stesso (aree 1-9 contro aree 10-14). Senza parlare poi della necessità di non penalizzare la "generazione di mezzo" degli studiosi fra i senior in uscita e i giovani subito international. La consapevolezza critica è mostrata dalla stessa Anvur nel secondo documento del 3 agosto, in cui ragiona sui molti commenti ricevuti. La strada è quella giusta, ma va articolata e mediata nella sua traducibilità. Da questo punto di vista una maggiore interazione fra Anvur e attori del sistema potrebbe aiutare. (Fonte: F. Favotto, Il Sole 24 Ore 08-08-2011) |
|
Parametri di valutazione. I criteri dell’ANVUR |
|
|
|
L’ANVUR ha proposto criteri relativamente stringenti per l’abilitazione, basati su parametri bibliometrici riconosciuti. Viene presentata un’analisi numerica del criterio principale proposto dall’ANVUR, quello della mediana dei parametri bibliometrici. Ho scelto due settori disciplinari di simili dimensioni, ma scientificamente molto diversi: MED/12, gastroenterologia, e M-FIL/03, filosofia morale. La Figura presenta il succo dei risultati ottenuti con lo stesso metodo, i quali possono essere di rilevo per l’abilitazione. Essa mostra il numero degli accademici con valori superiori alla mediana della fascia superiore nel settore (quindi associati con valori superiori alla mediana degli ordinari, e ricercatori con valori superiori alla mediana degli associati) per due parametri: il numero totale di citazioni e l’H-index. Un terzo parametro, il numero di pubblicazioni negli ultimi 10 anni, è statisticamente meno consistente, sia per le difficoltà di stimarlo compiutamente, sia per le differenze di ‘peso’ che pubblicazioni di diverso tipo hanno – un argomento di grande importanza nelle aree umanistiche e sociali.
I dati presentati qui indicano che l’applicazione stretta del criterio del mediano suggerito dall’ANVUR produce una short list obiettiva per ciascuna fascia accademica. L’ampiezza della short last cala dai professori ordinari ai ricercatori, con un profilo graduale come ci si aspetterebbe dalla diversa ‘seniori’ degli accademici. La short last degli ordinari, persone che hanno valori superiori alla mediana di tutta la loro fascia nel settore, produrrebbe un’ampia scelta dei commissari, che poi valuterebbero un numero ridotto di associati e ricercatori per esaminarne la promozione accademica. L’altra considerazione è che parametri bibliometrici riconosciuti, come le citazioni e l’H-index, si possono applicare egualmente a settori biomedici e umanistici, nonostante le grandi diversità quantitative: il valore mediano di H-index è = 19 per tutto il settore MED/12 e = 2 per tutto il settore M-FIL/03, eppure la distribuzione dei valori è qualitativamente simile. Credo che questa considerazione, basata su numeri empirici, possa sfatare comuni pregiudizi che emergono in Italia riguardo a parametri come l’H-index. Speriamo quindi che il confronto prosegua sui numeri, oltre che sulle opinioni!
(Fonte: M. Degli Esposti www.scienzainrete.it 28-07-2011) |
|
