Bisognerebbe riflettere sul perché si è fatta strada l’idea di valutare la qualità degli articoli scientifici sulla base di una graduatoria delle riviste nelle quali sono pubblicati. Purtroppo è l’uso generalizzato, principalmente nelle discipline mediche, dello “Impact factor” che ha generato questa idea priva di senso. Si ritiene da parte di molti che nelle scienze cosiddette “dure” l’IF delle riviste dia luogo a una classifica utile per giudicare i lavori scientifici. In realtà come ampiamente dimostrato nel documento dell’International Mathematical Union (IMU) “Citation Statistics”, l’IF delle riviste (che è il valor medio di una distribuzione in cui media mediana e moda assumono valori molto distanti tra loro) non può essere usato nemmeno per valutare comparativamente il numero delle citazioni che gli articoli ricevono nei due anni successivi alla pubblicazione. Tra tutti gli indici bibliometrici, l’IF è certamente il più fasullo anche se il più popolare. Ma purtroppo la sua popolarità ha generato la falsa esigenza di trovare un qualche metodo di classificare le riviste “per le discipline nelle quali non è disponibile l’IF”. L’ANVUR non è la sola a essere caduta in questa trappola. Persino l’IMU ha tentato di definire una classifica delle riviste di matematica. Ci vorranno anni, forse decenni, per superare il miraggio dell’IF. Per ora possiamo solo sperare che alla fine prevalga nei diversi GEV, e nelle commissioni per le abilitazioni, il buon senso e specialmente il coraggio di esprimere anche valutazioni in contrasto con le graduatorie delle riviste stilate dagli stessi GEV.
(Fonte: A. Figà Talamanca, roars 10-04-2012) |
|
VALUTAZIONE. I MIGLIORI ATENEI PER LE AZIENDE CHE ASSUMONO |
 |
 |
 |
Il QS top university wordl ranking 2011/2012 classifica anche i 671 atenei considerati I migliori dalle aziende che assumono (Employer reputation index). Le università italiane considerate in questa classifica sono nella tabella che segue.
(Fonte: L’Espresso 26-04-2012)
|
|
VQR 2004-2010. RACCOMANDAZIONI E PROPOSTE DEL CUN |
|
|
|
|
Il Consiglio Universitario Nazionale attribuisce al processo di valutazione VQR 2004-2010 un valore strategico per il sistema universitario italiano, e giudica quindi importante che l’esito di tale processo risulti pienamente soddisfacente, in particolare sotto il profilo della futura fruibilità dei risultati. A tal fine il Consiglio ritiene opportuno avanzare le seguenti raccomandazioni e proposte:
1) è indispensabile una piena e completa chiarezza e una condivisione ex ante dei criteri (indicatori, pesi, basi di dati, rating delle riviste) e delle regole di valutazione (bibliometria, peer review) adottati in generale e dai singoli GEV;.
2) sarebbe importante che vi fosse sostanziale omogeneità di giudizio all’interno di ciascun Macrosettore, ma anche adeguata differenziazione dei criteri per Macrosettori diversi, anche all’interno della stessa Area;
3) occorrerà creare le condizioni per una chiara comparabilità tra le Aree senza apriorismi valutativi ed evitando giudizi assoluti, che non sono confrontabili, né in formulazione numerica, né quando espressi in forma verbale, e adottando criteri statistici (percentili), ove possibile tarati su valori medi internazionali;
4) si suggerisce con forza l’opportunità di esprimere le valutazioni in forma di rating piuttosto che di ranking, per tener conto in modo appropriato delle differenze strutturali e dimensionali e della diversa finalità degli enti presi in esame;
5) sarà indispensabile, per un giudizio adeguato sull’effettiva qualità scientifica delle strutture e per poter meglio indirizzare le future scelte gestionali degli Atenei, rendere disponibile, oltre la valutazione complessiva già prevista, anche una valutazione avulsa dalle penalizzazioni dovute alla presenza di soggetti inattivi;
6) deve essere in ogni sede e con forza ribadito che gli esiti della VQR non possono in alcun modo influire sulle valutazioni individuali dei soggetti attivi partecipanti, a causa delle ovvie e radicali differenze dovute al processo di selezione e valutazione dei prodotti;
7) si dovrà in ogni caso fare un uso dei risultati che tenga conto dell’assetto generale del sistema, evitando di creare distorsioni nell’impianto organizzativo e culturale degli Atenei, dei Macrosettori e dei settori, tenendo conto anche degli effetti di lungo periodo dell’attuale valutazione.
(Fonte: CUN 18-04-2012) |
|
|
VALUTAZIONE. LE TOP 100 RIVISTE NELLE DIVERSE LINGUE SECONDO GOOGLE SCHOLAR |
|
|
|
Pur riconoscendo che c’è stato in questi anni uno sforzo da parte di Google Scholar (GS) di raffinare i meccanismi di selezione delle fonti direi che non ci siamo ancora e ritengo estremamente pericoloso affidarsi ora a GS come fonte per la valutazione. Tuttavia non siamo lontani dal momento in cui si potrà tenere conto anche dei dati di GS. Questo strumento presenta però in prospettiva gli stessi difetti dei database commerciali. Il fatto che sia gratuito non deve trarre in inganno. GS è monopolista nella gestione dell’informazione almeno tanto quanto TR o Scopus. Non a caso rende molto difficile l’estrazione dei dati per (ri)elaborazioni più affidabili (e questo è il primo difetto), la selezione delle fonti ha ancora maglie troppo larghe e soprattutto non lavora sui metadati ma sui full text. Anche GS ha la sua classifica di riviste. Recentemente ha pubblicato la classifica delle top 100 riviste nelle diverse lingue, ordered by their five-year h-index and h-median metrics.
(Fonte: P. Galimberti, roars 23-04-2012) |
|
VALUTAZIONE. LE TOP 100 RIVISTE ITALIANE SECONDO GOOGLE SCHOLAR |
|
|
|
|
Link alla classificazione di Google Scholar delle Top 100 riviste italiane 2012:
http://scholar.google.com/citations?view_op=top_venues&hl=en&vq=it |
|
VALUTAZIONE. CRITICHE A GOOGLE SCHOLAR |
|
|
|
Tra un po’ saremo la prima nazione a usare Google Scholar (GS) in un esercizio di valutazione, almeno stando a questa rassegna di Diane Hicks. Il GEV di Area 13 si accinge, infatti, ad usare i dati di GS per stimare l’Impact Factor (IF) di riviste che non sono presenti su Web of Science e di cui non è noto l’IF. D’altra parte alcuni siti da qualche tempo hanno costruito statistiche sui top scienziati italiani usando proprio GS. E ormai i giornali usano a man bassa questi dati. Addirittura l’ANVUR chiede nel modulo di autocandidatura a referee di inserire il proprio h-index calcolato su GS con il software Publish or Perish (PoP). Tra i bibliometrici è in corso una accesa discussione sull’affidabilità di GS. Vi ha avuto un ruolo assai importante il caso di Ike Antkare, ricordato anche su Nature, e che ha interessato i media generalisti. Cyril Labbé il ricercatore francese che ha creato Ike Antkare: uno scienziato inesistente autore di 100 paper (inventati), citati ciascuno almeno 100 volte. Con un h-index di 100 calcolato su GS, Ike Antkare è diventato una delle grandi star del firmamento scientifico. Se tentate adesso con PoP una ricerca per autore, scoprirete che Ike Antkare è stato eliminato dalle indicizzazioni, e tutti i suoi paper sono stati cancellati da Google Scholar (ma li potete trovare ancora qua). Il problema principale di Google Scholar non è però solo la manipolabilità, come ha dimostrato il caso di Ike Antkare. Il problema di fondo è che allo stato attuale, come scrive Diane Hicks, «[Google Scolar] is not in a form usable for structured analysis. Basically this is beacause GS is not built from structured records, that is from metadata fields. Rather that using the author, affiliation, reference etc. data provided by publishers, GS parses full text to obtains its best guess for these items.» E potremmo continuare. Malgrado la cancellazione di Ike Antkare da GS e da PoP, le conclusioni di Labbé sembrano ancora valide: «At this point in time, tools computing individual researcher [and journal ndr] performance indices using Google scholar are not reliable. This experiment shows how easily and to what extent computed values can be distorted.».
(Fonte: A. Baccini, roars 21-04-2012) |
|
