|
The Research Excellence Framework (REF): revisiting the RAE. The value of bibliometrics |
 |
 |
 |
|
In January 2008, Research Trends brought you a detailed overview of the UK’s Research Assessment Exercise (RAE) — then entering its final iteration — along with a look ahead at the RAE’s successor, the Research Excellence Framework (REF). To supplement this, Henk Moed described the behavior-changing effect research evaluation — and by extension any bibliometric indicators used in such evaluation — can have on institutions; and Bahram Bekhradnia provided a cautionary take on emphasizing bibliometrics in the REF2–3. In the three years since, the Higher Education Funding Council for England (HEFCE) has carried out consultations and pilot exercises, including one focusing on the use and value of bibliometrics. So halfway to its expected completion in 2014, how does the REF look?
A firm presumption
Bibliometric indicators were intended to play a large part in the REF; in fact, in the early stages of its development, “the Government [had] a firm presumption that after the 2008 RAE the system for assessing research quality … [would] be mainly metrics-based.” The suggested reason: to reduce “some of the burdens imposed on universities”.
In 2009 HEFCE conducted a pilot exercise of bibliometrics for the REF, which showed “general but cautious support” for using citation data to complement — but not replace — peer review. Ironically, one stated concern was “the cost and burden involved”; but unease extended to the value such information provides5. Confronted with such concerns, HEFCE concluded that citation information should inform expert review, rather than act as a primary indicator of quality; and further that the use of citation data should be an option available to sub-panels, rather than an imposed requirement. As Bahram Bekhradnia stated in his 2009 critique of the REF: “The process now proposed is radically different [from the initial, metrics-based proposals], and will recognizably be a development of the previous Research Assessment Exercises.”6
The recession of metrics
The widespread economic recession of the past few years has affected governmental policies in practically every area, and the REF has been no exception. With purse strings tightening, and financial concerns at the heart of current political debate, people naturally asked whether university research should be more accountable to the economy. And so a new component of the REF was placed alongside research environment and quality: impact.
The impact metric covers the economic and social impact of research, and accounts for 25% of the overall score in the REF. The inclusion of this measure rapidly shifted the focus of discussions about the REF onto impact, with some academics speaking out about the incompatibility between such a metric and curiosity-driven research7. This shift in attention led bibliometrics to fade from view, which was compounded when David Willetts, Minister for Universities and Science, announced a year-long delay to the REF to discuss comprehensively the impact component, and a pilot exercise was conducted to develop a practical method of assessing impact8–9.
Building the Framework
Over the last few months, chairs have been appointed to the main and sub-panels of the REF, and these will likely have more importance than under the original, metrics-based plans. The next step will be the appointment of panel members this year, and more detailed guidance on submissions and assessment criteria10; alongside this, HEFCE recently put out a call for tenders for provision of bibliometric data. Under its current timetable, the REF will inform funding from 2015 onwards; and with budget cuts across the state affecting higher education institutions, there will be pressure on HEFCE to get it right first time with the new system.
One question that deserves renewed attention, after the lurch of focus to impact, is whether bibliometrics should have a greater role in the assessment of research. The Framework has returned to its RAE roots with a confidence in expert review to the near-exclusion of statistics; but as one report following the bibliometrics pilot says, “[t]he trust in the infallibility of peer review is striking, and feels rather contrived … in light of the numerous studies carried out over the years that note it has limitations as well as great strengths”. Bibliometric indicators have limitations, and caveats that must be applied to conclusions drawn from their use; but where peer review is deemed critical, “it seems incontrovertible that such judgments will be more robust for having considered multiple streams of data and intelligence, both subjective and objective.”11
Assessing research around the world
• In Australia, the Research Quality Framework (RQF) was replaced by the Excellence in Research for Australia (ERA) initiative. The first full evaluation under this system was conducted in 2010, with another round to follow in 2012.
• Funding for Flemish institutions in Belgium is determined in part by the so-called BOF-key, funding parameter which since 2003 incorporates bibliometric indicators12.
• Set up in 2007, AERES evaluates France’s higher education institutes. The agency carries out on-site inspections, and its findings are used to direct funding.
• Italy’s Valutazione Triennale della Ricerca (VTR) ran in 2003; six years later, outcomes of the assessment were used for the first time to allocate funds. The system was fully based on peer review13. Its successor exercise, the Valutazione Quinquennale della Ricerca (VQR), brings citation analysis alongside peer review as an option for assessment.
• The Performance-Based Research Fund (PBRF) is New Zealand’s tertiary education funding model, of which 60% is determined by Quality Evaluation of research. This is assessed by expert peer review; the next assessment will take place in 2012.
(Fonte: M. Richardson, Research Trends marzo 2011) |
|
La non automaticità degli scatti triennali |
|
|
|
|
Con il DL 180/2008 gli scatti automatici biennali hanno perduto l'automaticità e, dal 2011, sono vincolati a una valutazione che, se negativa, non consente l'attribuzione dello scatto. Successivamente la legge Gelmini ha ribadito la non automaticità degli scatti, trasformandoli da biennali a triennali e sospendendo alcuni diritti a coloro che hanno un giudizio negativo ai fini dell'attribuzione dello scatto.
Per quanto sopra, il blocco della carriera economica nel triennio 2011 - 2013 operato dall'art. 9, comma 21 della legge 122/2010, per effetto del blocco degli scatti automatici della progressione economica dei professori universitari, non dovrebbe valere poiché gli scatti, biennali prima, triennali ora, non sono più automatici. Va bene, quindi, il ricorso al TAR che in molte sedi si sta organizzando con, in subordine, la questione d’incostituzionalità. Ciò perché il blocco della carriera per tre anni, senza ricupero, previsto dal comma 21, è stato reso operante per la categoria dei professori universitari e non per quella dei magistrati. Non sono state trattate, per legge, con eguale giustizia amministrativa, due categorie entrambe non contrattualizzate, per evidente scelta politica di convenienza che potrebbe essere considerata incostituzionale.
(Fonte: A. Pagliarini) |
|
|
Su una ventilata diffida avverso il blocco degli scatti stipendiali |
|
|
|
|
Il ConPass (Coordinamento Nazionale Professori Associati) Il 31 marzo u.s. ha diffuso il documento (1) sotto riprodotto che propone di avanzare una diffida per il blocco degli scatti stipendiali. In proposito il segretario nazionale dell’USPUR nella nota (2), che si riproduce dopo il documento del CoNPAss, muove osservazioni sulla validità giuridica della proposta.
1. Il Documento di CoNPAss del 31 Marzo 2011:
“Cari colleghi,
in merito alla vicenda del ricorso al TAR per il blocco degli scatti stipendiali, dopo nutriti approfondimenti con esperti giuristi da parte dei colleghi del coordinamento locale del CoNPAss, siamo giunti alla conclusione che, in attesa di conoscere i contenuti dei decreti attuativi della legge Gelmini, l’unica azione da intraprendere è quella di inviare una lettera di diffida alla nostra amministrazione. A tal proposito facciamo presente che il termine di 60 giorni per l’invio della lettera ricorre dalla data di ricezione del primo cedolino paga successivo alla data di entrata in vigore della legge Gelmini (29-1-2011), in cui è stato palesato per la prima volta, ovvero è stato confermato, il blocco della progressione dell’anzianità di carriera.
Per coloro che hanno ricevuto l’ultimo scatto entro febbraio 2010, tale blocco è stato palesato per la prima volta tra i cedolini di novembre 2010 e febbraio 2011. Pertanto, per costoro il cedolino da richiamare nella lettera è quello di febbraio 2011 (quindi la lettera va bene così com’è e non va modificata se non per aggiungere i propri dati) ed i 60 giorni scadono il 21 Aprile 2011.
Quelli che hanno ricevuto l’ultimo scatto a marzo 2010 avranno notato per la prima volta il blocco nell’ultimo cedolino di marzo, mentre coloro che hanno ricevuto lo scatto successivamente noteranno il blocco solo trascorso un anno dall’ultimo scatto. Nel primo caso, occorre modificare la lettera richiamando il cedolino di marzo 2011 e non quello di febbraio. Nel secondo caso occorre attendere il primo cedolino in cui il blocco si manifesterà, modificando la lettera come descritto in precedenza. In entrambi i casi, i 60 giorni andranno conteggiati dalla data di emissione del primo cedolino in cui si è manifestato il blocco.
Questa differenziazione è dovuta essenzialmente all'applicazione dell'art. 69 della legge 133 del 2008 che introduceva un blocco parziale degli scatti per tutto l'anno successivo alla maturazione dell'ultimo scatto. Nei cedolini ciò era mostrato in alto a sinistra con una dicitura del tipo:
Prof.Ordinario - t. pieno - I pr.ec.- cl. III (art.69 L.133/08)
A quanto pare, finché c'è tale blocco (per 1 anno dall'ultimo scatto), l'amministrazione non blocca la progressione dell'anzianità di carriera. Fermo restando che, una volta passato 1 anno dallo scatto, viene rimossa la decurtazione, ma allo stesso tempo l'anzianità nell'inquadramento viene riportata indietro al dicembre 2010, bloccandola fino al dicembre 2013.
In allegato forniamo la lettera di diffida preparata con la collaborazione di colleghi giuristi di varie università. La stessa andrebbe protocollata individualmente entro la data del 21-4-2011, oppure inviata a mezzo raccomandata con ricevuta di ritorno. A tal proposito, onde coordinare l’iniziativa, nonché produrre una consegna in blocco di tutte le lettere, è possibile consegnare la lettera firmata, unitamente alla copia di un proprio documento di riconoscimento, a uno dei seguenti membri del coordinamento locale di CoNPAss (potete anche imbucarla nella loro cassetta postale) entro le ore 14 di mercoledì 6-4-2011”.
2. La Nota del segretario nazionale dell’USPUR:
“Cari Colleghi,
in merito alla proposta di diffida contenuta nel documento sopra riprodotto, fatto circolare da CoNPAss (Coordinamento Nazionale Professori Associati), proposta che sarebbe stata suggerita da colleghi giuristi di varie università, si rileva quanto segue.
L’art. 9, comma 21 D.L. n. 78/10, conv. in L. n. 122/10 ha bloccato per alcuni anni i meccanismi di adeguamento retributivo per il personale non contrattualizzato di cui all'art. 3 D.lgs. n. 165 del 2001, ivi compresi i professori universitari. (Mi limito ad un richiamo e non mi soffermo sul contenuto del comma perché lo considero noto a quelli che si stanno occupando del problema).
La legge c.d. Gelmini, n. 240/10, all'art. 8 ha previsto una delega al Governo per l'adozione di un regolamento per la revisione del trattamento economico dei professori e ricercatori, peraltro “tenendo conto anche delle disposizioni recate in materia” dal D.L. n. 78/10. Tra i criteri direttivi della delega si prevede la trasformazione della progressione biennale in progressione triennale.
Nell’art. 6, u.c., sempre della legge Gemini, che viene citato a sproposito, perché non sposta i termini della questione, si fa riferimento alla valutazione dell'impegno dei professori ai fini dell'attribuzione degli scatti triennali di cui all'art. 8.
Ciò detto appare evidente che, sino a quando la delega di cui all’art. 8 non sarà esercitata, trova piena applicazione l’art. 9, comma 21° del D.L. n. 78/10.
Con riferimento, poi, al contenuto del documento citato è doveroso segnalare due manifestazioni di incompetenza giuridica che lo caratterizzano.
In primo luogo il riferimento al termine di 60 giorni. Tale termine è previsto per ricorrere al TAR. In questo caso il ricorso non è da fare, ma anche se fosse da fare, poiché la mancata corresponsione di un emolumento si configura come “atto paritetico” e non come “atto autoritativo” il termine non sarebbe quello decadenziale di 60 giorni, ma quello prescrizionale di 5 anni. Se ci fosse da fare il ricorso entro 60 giorni, comunque, tale termine non potrebbe essere interrotto da una raccomandata.
Altra manifestazione di incompetenza è il riferimento alla presunta incostituzionalità della norma perché discriminatoria tra i professori di prima e quelli di dopo. Sicché il legislatore non potrebbe mai modificare in peggio una disciplina? La Corte costituzionale ha affermato centinaia di volte l'esatto contrario.
Le osservazioni evidenziate sono state elaborate dal collega prof. S. Raimondi che è ordinario di Diritto Amministrativo. Cordiali saluti. Antonino Liberatore”. |
|
Il blocco delle assunzioni negli atenei |
|
|
|
|
Il blocco scatta – e nel 2011 è avvenuto per sedici atenei italiani – quando la spesa stipendiale supera il 90% del Fondo di finanziamento ordinario attribuito dallo Stato. La situazione critica riguarda quest’anno circa il doppio delle università colpite lo scorso anno, questo alla luce del mancato inserimento nel decreto milleproroghe dei cosiddetti sconti. In base a questi ultimi, infatti, durante gli anni scorsi i costi del personale convenzionato con il sistema sanitario erano calcolati soltanto per i due terzi, mentre quest’anno sono conteggiati per il 100 per cento, senza tener conto del contributo dato da questi dipendenti alla tutela della salute pubblica. |
|
