La sfida di perseguire l’impatto nella ricerca

Intervista a:
Federico Caniato, Full Professor of Supply Chain & Procurement Management, School of Management, Politecnico di Milano
Stefano Magistretti, Assistant Professor of Agile Innovation, School of Management, Politecnico di Milano

 

Le università sono sempre più impegnate a dimostrare l’impatto della loro ricerca. Qual è l’impatto della ricerca? 

L’impatto della ricerca è fondamentale non solo per il Politecnico di Milano, ma per l’intero sistema universitario italiano e più in generale per le università di tutto il mondo. Non è facile definire quale sia l’impatto della ricerca. Possiamo dire che l’impatto della ricerca comprende tutti i risultati, le implicazioni e le conseguenze derivanti dalle attività di ricerca scientifica volte a generare conoscenza, ma ci si aspetta anche che forniscano benefici concreti. Nella nostra scuola, abbiamo definito l’impatto della ricerca secondo tre livelli progressivi di maturità: diffusione, adozione e benefici. Per diffusione si intende la diffusione dei risultati e delle scoperte tra gli stakeholder, l’adozione è l’uso dei risultati della ricerca da parte degli stakeholder e i benefici sono le conseguenze di questa adozione.

Perché l’impatto è così importante per la ricerca?

La ricerca è spesso accusata di essere autoreferenziale, cioè di «parlare» solo ai membri della comunità accademica senza fornire un contributo significativo alla società in generale. Al contrario, la ricerca può avere un impatto molto più ampio e significativo del previsto. Pertanto, è fondamentale illustrare tali impatti a un pubblico più ampio, richiedendo ai ricercatori di imparare a valutare e condividere il valore del loro lavoro con un maggior numero di stakeholder.

Qual è l’approccio alla valutazione dell’impatto nella School of Management?

Nel 2017, abbiamo iniziato un percorso nella School of Management per sviluppare una cultura della valutazione dell’impatto della ricerca. Questo percorso ha comportato una riflessione sul quadro di valutazione, lo sviluppo di un metodo e la raccolta e l’analisi delle valutazioni di impatto della ricerca. Abbiamo iniziato esaminando la letteratura per le valutazioni d’impatto, intervistando esperti e interagendo con il nostro comitato consultivo internazionale per definire il nostro quadro. Il quadro comprende i tre livelli di maturità (diffusione, adozione e benefici) e cinque settori degli stakeholder (istituzioni, imprese, studenti e docenti, cittadini e comunità accademica). Il secondo passo è stato l’adozione del quadro, avviata inizialmente nel 2019 con una serie di 16 progetti pilota, che si sono poi estesi a una serie più ampia di progetti (42 nel 2020; 43 nel 2021).

L’idea convenzionale di «impatto» ha senso in un modello lineare: i cambiamenti o le scoperte nella scienza e nella ricerca dovrebbero causare cambiamenti nella società, ma i quadri di valutazione dell’impatto sono generalmente molto più complessi, può spiegare perché?

La valutazione dell’impatto della ricerca è più complessa perché l’impatto non è lineare. Alcuni elementi hanno un impatto su una delle parti interessate, causando effetti indiretti su altre parti interessate. Ad esempio, i risultati della ricerca adottati dalle istituzioni pubbliche possono andare a beneficio dei cittadini, oppure i risultati diffusi agli studenti possono essere adottati in seguito, quando gli studenti sono professionisti all’interno delle aziende. Pertanto, la rete di impatto è intrecciata. Vedere il legame tra i settori e il livello di maturità e come un’iniziativa possa influenzare altre aree di impatto richiede un quadro in grado di riunire tutti gli elementi. Facciamo un esempio. Quando si pubblica un articolo accademico, c’è una diffusione all’interno della comunità accademica, ma se lo si condivide in classe, vi è anche un impatto sugli studenti; se si usa nella formazione aziendale, quel nuovo progetto di ricerca può diventare il seme di un potenziale progetto aziendale. Quindi da una singola azione – la diffusione della ricerca tra la comunità accademica – si può avere un impatto su più stakeholder a diversi livelli.

In che misura questa analisi d’impatto deve essere effettuata ex ante, durante la pianificazione dell’attività, e in che misura ex post?

La valutazione dell’impatto è uno strumento utile in ogni momento di un progetto di ricerca. Abbiamo visto colleghi adottarlo nel presentare proposte per un progetto dell’UE o un’iniziativa di ricerca interna. Questo perché l’impatto è sia ex ante che ex post. La cosa più importante è immaginare il potenziale impatto ex ante, che aiuta a stabilire le aspettative e l’obiettivo del progetto. La valutazione ex post mira invece a misurare i risultati ottenuti in termini di impatto, monitorare i risultati delle attività pianificate e dimostrare i risultati effettivi. Pertanto, non c’è un solo momento per l’analisi d’impatto; è sempre bene misurarlo prima, durante e dopo l’iniziativa di ricerca.

L’impatto è «originale» o costruito nel tempo? Abbiamo bisogno che i nostri dottorandi siano «impattatori nativi» o è un orientamento che può essere incoraggiato e sostenuto nel tempo?

La cultura dell’impatto non è nativa. È qualcosa per cui i dottorandi e i ricercatori in generale dovrebbero ricevere una formazione. In effetti, alcuni impatti sono facili da progettare e ottenere, ma gli impatti di livello superiore sono più impegnativi e richiedono un’attenta considerazione, quindi è importante costruire un impatto nel tempo. In effetti, è difficile ottenere tutto con un unico nuovo programma di ricerca. Per quanto riguarda i dottorandi, è probabilmente qualcosa che dovremmo condividere con loro e su cui incoraggiarli a riflettere. Abbiamo avviato questo approccio durante l’ultima Summer School AIiG (Associazione Italiana Ingegneria Gestionali) tenuta dal Politecnico di Bari nel settembre 2021, in occasione della quale abbiamo condiviso il framework con più di 50 dottorandi italiani e abbiamo chiesto loro di applicarlo alla loro ricerca di dottorato. I dottorandi sono rimasti positivamente sorpresi dagli esiti inaspettati di questo esercizio di valutazione. Diffondere la cultura della valutazione d’impatto della ricerca è qualcosa che dobbiamo fare a tutti i livelli.

Research Impact Assessment: un modello in continua evoluzione

Dal 2016 la School of Management (SoM) del Politecnico di Milano promuove la cultura della valutazione e del miglioramento dell’impatto della ricerca su istituzioni, aziende, studenti e docenti, cittadini e comunità accademica

 

Federico Caniato, Professore Ordinario di Supply Chain & Procurement Management, School of Management, Politecnico di Milano
Stefano Magistretti, Assistant Professor di Innovation & Design Management, School of Management, Politecnico di Milano

Sempre più spesso oggi viene messo in discussione il contributo che le università forniscono alla società, per cui sempre più spesso si richiede loro di misurare e dimostrare tale contributo, spesso definito “impatto”. L’approccio tradizionale è stato quello di identificare tre grandi missioni: ricerca, formazione e la cosiddetta “terza missione”, termine ampio che include le interazioni con la società in generale, ad esempio il trasferimento tecnologico, la promozione culturale, la comunicazione esterna. Vi è però un limite in questo approccio, in quanto rischia di vedere le tre missioni come attività separate, ognuna con le proprie regole e metriche.

Dal 2016 la School of Management (SoM) del Politecnico di Milano sta lavorando su questo tema con un approccio più integrato, che non vede le tre missioni come separate, ma piuttosto la ricerca come motore che può generare impatto su molteplici domini, non solo la comunità accademica e gli studenti, ma la società in generale. Per questo motivo promuoviamo la cultura della valutazione e del miglioramento dell’impatto della ricerca, in linea con la nostra mission:

contribuire al bene collettivo attraverso una comprensione critica delle opportunità offerte dall’innovazione. Questa missione si realizza creando e condividendo la conoscenza attraverso un’istruzione di alta qualità, una ricerca di alta qualità e un impegno attivo con la comunità“.

Quando abbiamo iniziato questo cammino, abbiamo prima di tutto voluto incoraggiare tutti i colleghi a riflettere sull’impatto dei loro progetti di ricerca a 360 gradi. Nei primi anni, ci siamo occupati di stimolare il pensiero critico e la creazione di una cultura della misura dell’impatto. Inizialmente non era scontato che ogni progetto, dal più semplice al più complesso, dal più breve al più lungo potesse avere un impatto su diverse aree della mission della nostra scuola. Questa cultura della misura era ed è tutt’oggi però fondamentale per valutare e dimostrare l’impatto su molti domini e non solo sugli indicatori più tradizionali (e.g., numero di pubblicazioni academiche, numero di pubblicazioni su testate giornalistiche).

Per questo motivo abbiamo sentito la necessità di sviluppare un nostro modello per guidare la valutazione dell’impatto all’interno di tutta la SoM, che ci permettesse di perseguire i seguenti obiettivi:

  • Aumentare la consapevolezza di tutta la nostra comunità
  • Imparare a valutare l’impatto della ricerca
  • Incoraggiare tutti i colleghi a progettare, condurre e diffondere ricerche volte ad avere un impatto misurabile
  • Migliorare la capacità di rendere conto dell’impatto generato
  • Riconoscere i risultati della ricerca della SoM
  • Diffondere i risultati della ricerca sia all’interno della SoM sia all’esterno

Per raggiungere questi obiettivi, abbiamo costruito un modello, ispirato alla letteratura scientifica, che identifica 5 domini e 3 livelli di maturità di impatto della ricerca.
I 5 domini rispetto ai quali viene misurato l’impatto sono:

  1. Le istituzioni
  2. Le imprese
  3. Gli studenti e i docenti
  4. I cittadini
  5. La comunità accademica

L’impatto su ciascun dominio è poi misurato su una scala di maturità crescente a 3 livelli:

  • Comunicazione dei risultati della ricerca
  • Adozione dei risultati della ricerca
  • Benefici ottenuti tramite l’adozione

Questo modello è volutamente generale, affinché possa essere adattato ai diversi temi e tipologie di ricerca della SoM. Per ciascun dominio e ciascun livello di maturità, è necessario identificare precisi indicatori, possibilmente quantitativi (e.g., numero di partecipanti a eventi, numero di articoli in rivista pubblicati, numero di conferenze academiche organizzate), che permettano di misurare e dimostrare l’impatto. Tali indicatori devono essere scelti coerentemente con la natura di ciascun progetto di ricerca.

Il modello è stato dapprima testato da alcuni colleghi che nel 2019 hanno valutato 16 progetti su queste dimensioni. Questo ha permesso di comprendere la solidità e validità del modello e identificare numerose metriche utili per i diversi domini e i diversi livelli di maturità.

Nel 2020 abbiamo investito nel coinvolgimento di tutta la SoM nel compiere questo importante esercizio, allargando così la partecipazione, arrivando a raccogliere il Research Impact Assessment per 42 diversi progetti condotti all’interno della SoM, di cui almeno uno per ciascuna linea di ricerca della Scuola.
E’ stata prima di tutto un’occasione formativa e di riflessione sul tema per tutta la scuola, per cui sono stati organizzati momenti di confronto e discussione. La sintesi e le evidenze principali sono state raccolte in un Booklet, che presenta una grande ricchezza e varietà di impatti e che servirà inizialmente come strumento di comunicazione interna per creare consapevolezza e raccogliere best practice.

Il lavoro continua, è già partita la raccolta per il 2021, con l’obiettivo di aggiornare le informazioni sui 42 progetti e ampliare ulteriormente la partecipazione.
La speranza e l’augurio è che questo esercizio permetta sempre più non solo di misurare a posteriori, ma anche di pianificare sin dall’inizio l’impatto dei progetti di ricerca, e spinga a coprire tutti i domini e a raggiungere il massimo livello di maturità possibile, ovvero quello dei benefici concreti.