Home 2012 23 Agosto
23 Agosto
VALUTAZIONE. LE MEDIANE DELL’ANVUR VISTE COME UN SISTEMA DI EUGENETICA ACCADEMICA PDF Stampa E-mail

I membri delle commissioni giudicatrici che attribuiranno le abilitazioni scientifiche nazionali verranno sorteggiati tra i professori ordinari che daranno la loro disponibilità. Tuttavia, potranno partecipare al sorteggio solo coloro che supereranno delle soglie quantitative di produttività ed impatto scientifico, definite sulla base del concetto statistico di mediana. Fissiamo, per esempio, l’attenzione su un indicatore molto semplice, come il numero di citazioni ricevute nella letteratura scientifica. Se in un settore concorsuale ci sono duecento professori ordinari, una volta stilata una classifica basata sulle citazioni ricevute, il criterio della mediana è superato dai primi cento professori, mentre esclude la seconda metà. Per i cosiddetti settori bibliometrici, possono partecipare al sorteggio i professori ordinari che superano il criterio della mediana per almeno due indicatori bibliometrici sui tre considerati: numero di articoli, citazioni e indice h di Hirsch. Lo stesso requisito si applica ai candidati all’abilitazione scientifica di prima fascia: per non essere esclusi dalla valutazione devono superare il criterio della mediana per almeno due indicatori bibliometrici su tre, usando come riferimento le statistiche bibliometriche dei professori ordinari del settore concorsuale (previa normalizzazione per l’età accademica). Per i candidati all’abilitazione di seconda fascia, le mediane sono costruite sulla base delle statistiche dei professori di seconda fascia. Secondo l’estensore dell’articolo (G. De Nicolao) le mediane dell’ANVUR configurano un sistema di eugenetica accademica che favorisce la riproduzione del super-SSD bibliometricamente più prestante e l’estinzione dei sub-SSD che non reggono il confronto bibliometrico. Anche la negazione di mediane specifiche agli SSD di dimensione inferiore a 30 è degna di attenzione: le tribù piccole, se non sono dominanti, vengono penalizzate per favorire il rafforzamento della super-razza accademica. Comunque sia, l’articolista preferisce non credere che questo raffinato sistema di eugenetica accademica sia stato intenzionalmente progettato dall’ANVUR: si tratterebbe di una deviazione troppo grave dal ruolo tecnico e dalla dovuta imparzialità che dovrebbero caratterizzare l’operato dell’agenzia.
(Fonte: G. De Nicola, roars 24-07-2012)

 
VALUTAZIONE. ANCORA LAMENTI CONTRO METODI VALUTATIVI STANDARDIZZATI PDF Stampa E-mail

Chi è avvezzo alla concretezza (e naviga tra scuole di business e di management, di comunicazione e conduzione aziendale, di pubblicità e marketing) assimila il mondo della ricerca a quello del pensiero unico economico-finanziario e, nell'intento di incoraggiare un sistema di premialità meritocratica, si limita a riprodurre l'ambito delle agenzie di rating. Del tutto ovvio, dunque, che consideri ogni tentativo di problematizzare la questione del merito e della valutazione insopportabile sofisma e/o pretesto dell'accademia polverosa per rallentare l'affermazione del nuovo che avanza. La valutazione della ricerca si deve fare, costi quel che costi. E tuttavia, dietro questo grande pragmatismo si cela un altrettanto grande schematismo di analisi, buono certo a catturare il consenso alla frettolosa ricerca di soluzioni facili per problemi complessi (come indirizzare le risorse al merito? Come selezionare i migliori studiosi?). L'ennesima conferma, qualora ce ne fosse bisogno, del livello spesso mediocre, quando non infimo, del discorso pubblico su università e ricerca in Italia. E, infatti, se pure si può comprendere l'utilità empirica dell'impiego di parametri oggettivi di valutazione della ricerca, bisogna avere ben chiara la grande rozzezza dei risultati che possono essere prodotti da tutte le procedure che mirano a fornire soluzioni di tipo aritmetico ad un problema che non è quantitativo, ma qualitativo e valutarne con estrema cautela gli esiti. I parametri quantitativi mantengono una loro solidità solo se un discorso complesso viene arbitrariamente semplificato: ed è una semplificazione - e un mero espediente statistico - considerare indici di citazioni, ranking di riviste e impact factor come lo strumento prioritario per valutare i singoli studiosi o gli atenei e stilarne più o meno utili e opinabili classifiche. Se l'applicazione di questi indicatori appare discutibile per le cosiddette "scienze dure", lo è, a maggior ragione, per i saperi umanistici, i più refrattari all'adozione di un sistema di misurazione oggettivo della produzione scientifica. Né è possibile (in quanto scientificamente errato oltre che palesemente contrario ad ogni buonsenso) applicare un metodo valutativo standardizzato - quello mutuato dalle scienze esatte - ad ambiti del sapere differenti, ignorando le differenze strutturali, costitutive, epistemologiche, fra i diversi campi disciplinari, nel loro diverso rapporto con le rispettive tradizioni scientifiche.
(Fonte: T. Drago, Il Manifesto 21-07-2012)

 
VALUTAZIONE. LE AREE NON BIBLIOMETRICHE CONTESTANO L’ADOZIONE DEI CRITERI DELL’ANVUR PDF Stampa E-mail

Nonostante tutte le rassicurazioni in senso contrario, l'Anvur continua ad affidare il giudizio della ricerca nelle "aree non bibliometriche" a un mix valutativo: criteri interni di giudizio (il sistema della peer-review, ovvero la valutazione effettuata da un pari, un esperto in grado di entrare nel merito di una pubblicazione) integrati da parametri oggettivi (il ranking di riviste per cui, a seconda della graduatoria stilata dall'Agenzia di valutazione, lo stesso saggio viene giudicato in maniera diversa - e dunque indipendentemente dal suo contenuto - a seconda della rivista in cui appare). La questione non è di poco conto, dal momento che la distinzione tra la serie A, B e C delle riviste viene effettuata dall'Anvur, con la consulenza di esperti della Valutazione della Qualità della Ricerca e delle società scientifiche nazionali, sulla base di parametri standard detti «rigore delle procedure di revisione e diffusione» e «impatto nelle comunità degli studiosi del settore», corrispondenti in realtà ai soliti requisiti dell'abstract in inglese, dei referees anonimi e del comitato scientifico internazionale. Per capire quanto fuorviante sia l'adozione di criteri così palesemente estrinseci, basta osservare che sono già state segnalate (dai sociologi, da autorevoli italianisti, dalla Società italiana di filosofia teoretica, dai filosofi politici) numerose distorsioni per cui in molti casi la fascia A viene attribuita a riviste, spesso di area anglosassone, che non rappresentano affatto il più alto livello della ricerca. Questo tipo di valutazione lancia una sfida mortale alle materie umanistiche nel momento stesso in cui pretende di sovrapporre l'esperienza della semplificazione (indici e algoritmi) alla cultura della complessità, le conoscenze digitalizzabili alla problematizzazione teorica, la computazione di dati al gesto interpretativo, la simultaneità globale ai tempi lunghi di riflessione, le logiche autoritarie alle pratiche di condivisione e di persuasione.
(Fonte: T. Drago, Il Manifesto 21-07-2012)

 
VALUTAZIONE. DUE SEMPLICI MISURE A COSTO ZERO PER AUMENTARE LA TRASPARENZA PDF Stampa E-mail

In primo luogo, suggerirei di mettere a disposizione del pubblico i risultati individuali della VQR. Per i non addetti ai lavori, la VQR è la Valutazione della Qualità della Ricerca, un enorme esercizio di analisi della produzione scientifica dell’università. Ciascun docente ha dovuto indicare i suoi tre migliori lavori dal 2004 al 2010 che ora l’ANVUR (www.ANVUR.org) sta valutando con una serie di procedure molto complesse. Per i settori scientifici e medicina si basano su una serie di parametri oggettivi, come il numero di citazioni (settori bibliometrici). Invece per le scienze sociali, legge e le facoltà umanistiche la valutazione si basa sul giudizio di esperti sul singolo prodotto (peer review), e quindi potrebbe essere più influenzata da pregiudizi o simpatie personali. In ogni caso, i risultati dovrebbero essere disponibili alla fine dell’anno. Ciascun prodotto riceverà un giudizio da A (ottimo) a D (meglio non esprimersi). Questi giudizi dovrebbero essere noti solo all’autore e al rettore, che ha un interesse a conoscerli in quanto i risultati aggregati dovrebbero determinare in parte il finanziamento degli atenei. In secondo luogo, si potrebbero rendere pubbliche le pagine personali dei professori sul sito ufficiale CINECA, attualmente consultabili solo dall’interessato e dal ministero. Essa contiene un elenco delle pubblicazioni e varie altre informazioni sull’attività del docente (fondi di ricerca ricevuti, posizioni nelle società scientifiche etc.). Le informazioni sono caricate dal docente stesso e fino a poco tempo fa pochi si prendevano cura di aggiornarle. L’avvio delle procedure per le abilitazioni nazionali ha cambiato la situazione. La possibilità di essere commissario (per gli ordinari) o di presentarsi a concorso (per gli altri) dipende dal numero e dal tipo di pubblicazioni che risultano nel sito al 15 luglio 2012. I docenti hanno quindi avuto un interesse a completare i dati, almeno per le pubblicazioni. Ambedue le riforme sono a costo zero: basterebbe una semplice modifica del software. Spero che non si invochi la legge sulla privacy, che in Italia viene spesso usata per difendere i potenti o solo i piccoli privilegiati. Non vedo, infatti, come possa essere rilevante nel caso in questione: si tratta di pubblicizzare informazioni sul lavoro di dipendenti pubblici. Ed i contribuenti hanno diritto a sapere se i dipendenti pubblici lavorano e quanto. (Fonte: G. Federico, noisefromamerika.org 21-07-2012)
Un commento (Pino 21-07-2012). La proposta di mettere a disposizione del pubblico i risultati individuali della VQR è pericolosa perché può essere strumentalizzata e danneggiare alcuni. Infatti, la VQR è pensata per una valutazione delle singole Università: è vero che ciascun docente ha dovuto indicare i suoi tre migliori lavori dal 2004 al 2010, ma non in "piena libertà". Infatti, se 2 docenti della stessa Università sono cofirmatari di uno stesso lavoro (supponiamo "eccellente", molto importate e citato), tale lavoro poteva essere indicato per la VQR solo da uno dei due. E (quasi paradossalmente) per l'Università è più conveniente che il docente meno produttivo tra i due indichi tale lavoro "eccellente" tra i suoi 3 migliori per la VQR. Quindi se i dati della VQR vengono utilizzati per la valutazione dei singoli addirittura può essere penalizzante per i docenti più meritevoli.
Un altro commento (Renzino l'Europeo 23-07-2012). L'errore è assumere come principio che la valutazione "delle strutture" in Italia debba essere fatta come in UK. Questo è un falso giuridico, politico, storico, accademico, concettuale, e pratico. Meglio: andrebbe classificato come "falso ideologico". Dalla qual cosa discendono varie aporìe, fra cui - a buon diritto - la difforme considerazione delle procedure di valutazione dei singoli prodotti di ricerca. Non ci sarebbe alcun elemento ostativo alla valutazione dei singoli, nell'Università Italiana, talché esiste anche una procedura di rendicontazione triennale del lavoro dei singoli, Mai valorizzata per quanto si sarebbe dovuto. Ma l'impostazione della VQR sul modello britannico (fuori luogo) e sulle tecniche procedurali iper-australiane (sballate) ha modificato i connotati all'intero esercizio di valutazione.

 
VALUTAZIONE. LA MAGIA DELLA SCIENTOMETRIA PDF Stampa E-mail

La scientometria, fin dalle sue origini, ha assicurato l’apertura di un nuovo mercato a società che producono database non per fini scientifici ma per contare le citazioni; si valutano così gli scritti degli scienziati stessi in base alla loro notorietà calcolata tramite misure della “citabilità”. In passato i landmark della scienza erano spesso volumi semi-clandestini, che circolavano in direzione opposta a quella del mainstream, della scienza normale, e certo non con il fine di compiacere …pensate a quali terribili mistificazioni sarebbe andato incontro Galileo se – oroscopi a parte – avesse colluso con il suo tempo, o immaginate un mondo senza Bruno, convinto all’abiura totale e incondizionata delle proprie idee. Per fortuna questi nostri progenitori erano più intransigenti del ricercatore ultramediano del terzo millennio. Il virus della scientometria si è, infine, diffuso in Italia unico terreno dove, al momento, sembra aver attecchito. Due società private internazionali, due multinazionali, forniranno servizi di conteggio delle citazioni su cui si potranno calcolare anodini indici di notorietà, come l’Impact Factor, l’H index e altri numeri, meno noti, ma che fanno sperare di poter mettere in riga gli scienziati, dal migliore al peggiore. Il punto di vista internazionale rispetto a tali pratiche è talmente controverso che, come ben sanno i lettori di ROARS, si considera la pratica della peer review come unica in grado di fornire un quantomeno verosimile giudizio di bontà della ricerca pubblicata. In Italia, invece, dove pochi sanno cosa sia e come si calcoli effettivamente il fattore di impatto o l’indice di Hirsch, molti parlano a sproposito di percentili, distribuzioni, citazioni, google scholar, monografie e articoli…per giunta la statistica è spesso un argomento sconosciuto, anche fra coloro che saranno presto valutati. In questo contesto, brillano le categorie degli economisti e degli ingegneri che si occupano di statistica, di psicometria, di processi stocastici in modo un po’ naïve e un po’ furbo, cercando di indirizzare le scelte politiche dell’accademia e della società italiane. Un paese in crisi perenne come l’Italia poteva fare a meno della “magia” della scientometria? Vista la piega che sta prendendo la prossima selezione dei commissari e dei candidati per l’abilitazione scientifica nazionale per docente universitario di prima e seconda fascia, sembrerebbe di no.
(Fonte: R. Foschi, roars 26-07-2012)

 
VALUTAZIONE. CONTESTATE LE OBIEZIONI AGLI INDICI DI VALUTAZIONE FORMALI PDF Stampa E-mail

Se le istituzioni informali non riescono ad assicurare criteri adeguati, è indispensabile definire indici di valutazione formali, oggettivi come i rating delle riviste. Le obiezioni che vengono mosse a questo tentativo mi paiono, francamente, inconsistenti. La prima è che in tal modo un organo governativo diverrà giudice della libertà accademica, cosa, si dice, che non accadde nemmeno durante il fascismo. Ma non è certo questo un timore né attuale, né credibile. La libertà accademica non può mai essere portata a scusa per giustificare la faciloneria e l'arbitrio e non è lo stato a fare i rating di cui si parla. La seconda obiezione è che, applicando già da oggi alla produzione scientifica passata i nuovi criteri, questi verrebbero applicati in modo "retroattivo" e quindi incostituzionale. Ma non è così. Tra i vari importanti compiti di uno studioso c'è quello di fare ricerca innovativa e di pubblicarla su riviste autorevoli e su collane prestigiose. Questo è il suo premio, che non lo fa diventare più potente degli altri ma un maestro della sua disciplina. Se, finalmente, il governo affida a qualcuno il compito di valutare le pubblicazioni, questa non è una "applicazione retroattiva", ma il riconoscimento del fatto che, in base a una serie di criteri, primo tra tutti la reputazione accumulata negli anni dalle riviste, che non è quindi retroattiva, la qualità delle riviste è misurabile, prescindendo dal potere dei direttori. L'ultima obiezione è che vi sono materie più "internazionali" e materie necessariamente "locali". Sicuramente il diritto, legato com'è al Paese in cui questo è esercitato, è fra le materie tendenzialmente locali. Tuttavia, si sta formando da anni, una sorta di comunità scientifica internazionale anche nel diritto.
Le regole sull'impugnativa degli atti saranno solo italiane, ma i principi sul nesso causale, le teorie della colpa, il contratto, il controllo di costituzionalità delle leggi, e così via sono materie comuni a quasi tutti i sistemi del mondo, per non parlare del diritto internazionale, comparato, o della storia del diritto, o anche dello studio del diritto romano, che sono evidentemente materie "mondiali". Anche gli studiosi devono, quindi, abituarsi a essere valutati in base a criteri consolidati in ambito internazionale. Occorre naturalmente un grande sforzo di cambiamento per uscire dai propri confini ristretti, ma ne vale la pena.
(Fonte: P. G. Monateri, IlSole24Ore 11-08-2012)

 
Altri articoli...
« InizioPrec.111213141516171819Succ.Fine »

Pagina 14 di 19