Al momento stai visualizzando PRINCIPI PSICOMETRICI

PRINCIPI PSICOMETRICI

E LINEE GUIDA PER LA FORMULAZIONE DEI QUIZ DI ESAME

Ci troviamo ad affrontare un periodo storico molto importante, nel quale i principali schemi di qualificazione e certificazione del personale sono stati aggiornati e/o sono in fase di revisione. Nello specifico possiamo citare la nuova UNI EN ISO 9712 Edizione 2022 che ha portato numerosi e sostanziali cambiamenti nelle modalità di gestione del processo, le nuove Linee Guida ANSFISA relative al personale che svolge controlli non distruttivi nella manutenzione ferroviaria, ed a breve sarà possibile applicare i nuovi requisiti presenti nell’ormai sperato processo di evoluzione delle UNI PdR 56 per il settore dell’ingegneria civile.

Tutti i processi sopraelencati, indipendentemente dal settore di riferimento (industriale, ferroviario, civile) sono strutturati per verificare i requisiti di conoscenza teorico e pratica maturata dagli operatori addetti ai controlli non distruttivi, applicando una modalità comune che prevede:

  • esami scritti a quiz, composti da un certo numero di domande a risposta multipla
  • esame pratico applicativo.

Una delle maggiori criticità in questo processo è la corretta strutturazione degli esami teorici a quiz; problema noto, ma nessuno osava scoperchiare questo misterioso ma attraente vaso di Pandora, fino all’avvento, nel dicembre 2021, della nuova ISO 9712 (recepita poi in ambito EN ed UNI), che in Annex G ha introdotto per la prima volta, seppur a livello informativo, i principi psicometrici.

All’Organismo di Certificazione viene attribuito l’onore e l’onere di definire i criteri psicometrici in base ai quali i quiz d’esame devono essere preliminarmente analizzati e testati sul campo (utilizzati senza attribuzione di punteggio) per essere infine validati ed inseriti nelle banche quiz ufficiali.

Ma cosa sono questi principi psicometrici, e cosa chiede a noi addetti ai lavori la nuova ISO 9712? Una nuova certificazione? Diventare 4° livello NDT? Avendo resistito all’iniziale tentazione di cambiar mestiere, si è deciso di cogliere questa innovazione normativa come opportunità, e, pur senza immergerci in ardimentosi studi di psicometria, scienza complessa, che coinvolge ed intreccia diverse discipline, abbiamo indirizzato i nostri sforzi verso una ricerca documentale focalizzata sulle applicazioni di nostro interesse, allo scopo, parimenti ardito, di acquisire un approccio scientifico per la costruzione di questionari e quiz d’esame; noi che, in qualità di formatori, ci siamo spesso già cimentati in questo campo, seppur animati da volenteroso spirito “amatoriale”.
La nostra attenzione è stata in particolare catturata da un documento di fonte ASNT (American Society for Nondestructive Testing) i cui albori risalgono addirittura al 1977, e più volte rielaborato nel tempo a cura di noti psicometristi: “Una guida per lo sviluppo degli esami di certificazione NDT”.

Le ricerche ed approfondimenti documentali, unitamente alle nostre pregresse esperienze, ci hanno aiutato innanzitutto a trovar risposta ad alcuni quesiti di fondo, del tipo:

Come possiamo avere un approccio “scientifico” nel formulare, anzi nello strutturare quiz e questionari d’esame?

Dandoci semplicemente delle regole, o più esattamente delle linee guida, a cui tutti noi possiamo contribuire, sulla base della nostra esperienza, come tecnici e come formatori.

Ma quali sono i pilastri per costruire un buon QUIZ?

Riteniamo che i pilastri siano pochi, ma robusti:

  • Contenuto tecnico specifico e coerente all’argomento da trattare
  • Stesura lessicale che assicuri la corretta interpretazione della domanda e delle relative possibili risposte
  • Risposta corretta oggettiva / distrattori plausibili
  • Livello di difficoltà adeguato (per forma e contenuto) all’esame da sostenere.

E come ogni costruzione che si rispetti, va infine collaudata, attraverso un iter di verifica, ed eventuale ristrutturazione, che coinvolge discenti e docenti (cfr. UNI EN ISO 9712/ Allegato G).

Avendo preso coraggio dal rispondere con disinvoltura a questi fondamentali interrogativi, e supportati dal documento ASNT, abbiamo infine provato noi stessi a costruire una Linea Guida, o almeno a metterne insieme i primi mattoni, nella speranza che ognuno di Voi contribuisca a irrobustirla ed a elevarla.

A questo punto non ci rimane altro che augurarVi una buona lettura.

LINEE GUIDA PER LA FORMULAZIONE DI QUIZ DI ESAMI

1) Generalità

La presente Guida, dedicata ai Quiz d’Esame a risposta multipla, ha selezionato alcune indicazioni del documento di fonte ASNT “A guide for developing NDT certification examinations” per elaborarle / fonderle con l’esperienza professionale degli scriventi.

Innanzitutto qualche chiarimento sui termini che utilizzeremo.

  • Quiz: è costituito da una domanda (o radice), e da 4 possibili risposte, di cui una soltanto “corretta; le restanti 3 sono chiamate distrattori.

N.B. La nuova ISO 9712, al contrario dell’edizione 2012, non specifica più che le possibili risposte debbano essere quattro; tuttavia riteniamo che questo sia il numero più congruo.

  • Questionario: è l’insieme dei quiz assegnati al candidato per ognuno degli esami scritti (Generale / Specifico).

2) Regole generali per la strutturazione formale dei quiz d’esame

  • La struttura della frase(in particolare della domanda)deve essere semplice e chiara; a tale scopo potrebbe essere utile dividerla in 2 frasi.
  • È opportuno chiarire il punto focale del problema all’inizio della frase, aggiungendo a seguire dettagli o chiarimenti.
  • Le domande negative andrebbero limitate; in caso di utilizzo, è opportuno risaltare la negazione, ad es. mediante il corsivo (o il maiuscolo, o sottolineatura). La doppia negazione va invece assolutamente evitata (cfr. esempi finali).
  • In linea generale la formulazione della domanda può essere completa oppure incompleta (ad es. la frase prosegue in ognuna delle risposte); le domande incomplete vanno limitate perché il candidato, affinché possa afferrare l’intero problema ed il nocciolo del quesito deve leggere tutte le risposte, col rischio di ingarbugliarsi: il candidato nel rispondere ai quiz deve cimentarsi con difficoltà tecniche, non lessicali.
  • L’inclusione di materiale / informazioni irrilevanti nella domanda è un modo per simulare un problema reale/ realistico: un operatore NDT deve essere in grado di selezionare le informazioni rilevanti tra tutte quelle disponibili.
  • Nelle opzioni di risposta, limitare l’uso di termini come sempre, mai, tutto, niente, “senza dubbio”,che molto spesso si associano a risposte errate (distrattori),in quanto un quiz per la sua brevità difficilmente ammette affermazioni ferme e decise: in definitiva l’uso dei suddetti termini nei distrattori agevola il candidato. Per contro, locuzioni come  di solito, generalmente, a volte, spesso indirizzano verso la risposta corretta: pertanto, in caso di utilizzo, è opportuno bilanciarne l’uso tra risposte corrette e distrattori.
  • Premesso che in un quiz è opportuno mantenere tutte le risposte ragionevolmente brevi, arricchendo eventualmente la domanda, bisogna tener conto di quanto segueGeneralmente nei quiz la risposta corretta necessita d’un adeguato grado di definizione / dettaglio, e così viene resa più lunga; se i distrattori fossero brevi, i candidati usufruirebbero di un chiaro indizio. Per ovviare a ciò, nell’ambito del singolo quiz, è pensabile di bilanciare la lunghezza delle varie risposte. Oppure, una soluzione a più ampio respiro è quella di elaborare nuovi quiz in cui la risposta corretta è per contro quella più corta e generica, apparentemente approssimativa, in modo che il questionario d’esame contenga un mix di quiz:
    • con risposta corretta più lunga / meno lunga rispetto ai distrattori;
    • con risposta corretta più ricca di dettagli / meno ricca di dettagli rispetto ai distrattori;

l’obiettivo è di far emergere i candidati competenti, non fornendo alcun appiglio a quelli che sperano di compensare l’impreparazione con la furbizia.

  • Gran parte dei docenti che elaborano i quiz hanno la tendenza a concentrare le risposte corrette in una/due posizioni (oppure a penalizzare una data posizione). Facciamo un esempio. Si può ipotizzare che candidati frettolosi o inesperti non leggano tutte le 4 opzioni di risposta, barrando la prima in ordine di lettura che appaia plausibile (a oppure b); il docente per prevenire questi atteggiamenti potrebbe privilegiare il posizionamento delle risposte corrette in c oppure d. Anche questo può esser un indizio per il candidato.
    In definitiva, per non fornir appigli a candidati poco competenti (cfr. punto precedente), il docente dovrà prestar attenzione, nello sviluppo dei quiz destinati alle “banche quiz d’esame”, a distribuire le risposte corrette uniformemente nelle 4 posizioni; in tal modo in occasione delle sessioni d’esame sarà più semplice comporre questionari d’esame con tale peculiarità.
  • Tutte le possibili risposte a un quiz devono essere grammaticalmente corrette ed accordarsi con la domanda: quelle che disattendono tale requisito, sono chiaramente errate.

Un esempio può esser utile per chiarire tale concetto.

esempio: È consentito eseguire un esame PT con temperatura al di sotto del range ammesso dalle norme se: 

  a) la procedura viene qualificata;    b) sempre;      c) mai.

  • Nelle opzioni di risposta, ponderare / limitare l’uso de “Tutte le precedenti ” / “Nessuna delle precedenti”; per tali casistiche si rimanda agli esempi finali.

3) Focus point tecnici da considerare nell’elaborazione dei quiz d’esame

  • Tenendo anche conto del livello di certificazione,per i quiz che richiedono calcoli si devono fornire le informazioni necessarie a risolvere il problema, come equazioni, tabelle, grafici, valori di parametri non memorizzabili durante la formazione.  Di seguito un esempio afferente al metodo UT:

Data una sonda 45°in acciaio, si richiede l’angolo delle onde trasversali in ottone

→ per candidati 1° livello è opportuno fornire – almeno – le velocità delle onde trasversali in acciaio ed in ottone(se non addirittura la formula da applicare).

  • I quiz devono testare le abilità cognitive maturate dall’esaminando, e verificare se esse siano in linea con quelle attese per il livello NDT a cui è candidato. Tra le mappe più diffuse delle abilità cognitive, quella di Bloom (1956) prevede 6 livelli cognitivi; ogni livello è associato a un determinatogruppo di competenze; i 6 livelli, ordinati a partire dal più basso, sono afferenti alle seguenti capacità:

1. Conoscenza (memoria pura)  →  2. Comprensione  →  3. Applicazione pratica  →  4. Analisi  → 5. Sintesi  →  6. Valutazione.

Esemplificando, il questionario d’esame da 1° livello NDT deve essere strutturato in modo da contenere:

  1. N1 quiz che testano la memoria pura (il ricordo)
  2. N2 quiz che testano le capacità di comprendere il contenuto tecnico (espresso nel quiz)
  3. N3 quiz che testano l’esperienza pratica,

con N1> N2> N3

Il questionario da 2° livello NDT privilegerà invece N2 e N3, e nel contempo comprenderà anche N4 quiz che testano le capacità d’analisi, e via discorrendo.

  • In funzione della tipologia /organizzazione delle risposte, i quiz possono richiedere la selezione (1) dell’unica risposta giusta oppure (2) della risposta migliore; per tali casistiche si rimanda agli esempi finali.
  • Con riferimento allo sviluppo delle risposte, tutti i distrattori dovrebbero essere plausibili, e almeno uno dovrebbe sembrare una risposta migliore di quella corretta.

Di seguito degli spunti per sviluppare validi distrattori:

a) errori comunemente rilevati in fase di formazione o in precedenti sessioni d’esame;

b) errori dovuti a incuria / fretta / superficialità nella lettura, come l’incapacità di riorganizzare correttamente una formula (segue esempio afferente al metodo UT) oppure l’incapacità di individuare correttamente il punto decimale; esempio di formula corretta:  Velocità onde longitudinali V = (lunghezza d’onda l) x (frequenza f); se viene richiesto il calcolo di l, il candidato frettoloso e/o impreparato può ricavare la formula (errata) → l = V x f ;

c) formulazione pretenziosa /pomposa per far apparire corretta la risposta;

d) formulazione simile alla domanda oppure alla risposta corretta;

e) lunghezza della risposta (e/o dovizia di particolari) superiore rispetto alla risposta corretta;

f) (in caso di calcolo matematico) assegnazione di un valore inverso rispetto al valore della risposta corretta.

  • Un quiz deve prendere in esame un unico argomento; di seguito un esempio (afferente al metodo UT) di requisito disatteso.

Esempio:  Quale delle seguenti affermazioni è errata: 

  • nel campo lontano la pressione del fascio US decresce linearmente con la distanza;
  • le onde trasversali si propagano nei liquidi con l inferiore rispetto alla propagazione nei solidi; 
  • l’impedenza acustica di un mezzo materiale è data dal prodotto densità x velocità.

4) Esempi pratici afferenti all’elaborazione dei quiz d’esame

4.1    Esempi sull’uso delle negazioni

4.2    Esempi relativi alle principali “categorie” di risposta corretta

Ognuna delle 4 risposte deve rispettare il proprio ruolo: quella corretta deve essere inconfutabilmente corretta, quelle errate devono essere inconfutabilmente errate.

L’UNICA RISPOSTA GIUSTA

Ognuna delle 4 risposte deve rispettare il proprio ruolo: quella corretta deve essere inconfutabilmente corretta, quelle errate devono essere inconfutabilmente errate.

Esempio: Qual è la lunghezza d’onda d’un fascio ultrasonoro da 4,0 MHz in un materiale in cui la velocità del suono è 5900 m/s?

        a) 0,147 mm                   b) 1,47 mm                 c) 2,36 mm                   d) 1,47 cm                   e) 1,50 mm

In quiz di calcolo, nella scelta dei distrattori:

  • è suggerito di inserire combinazioni di calcolo errate tra i parametri a riferimento (es. c : 0,59 x 4 = 2,36);
  • è plausibile inserire valori con le cifre corrette, ma la virgola in posizione errata (es.a) (la controindicazione è che il candidato possa notare un assembramento di valori, e capire che tra essi c’è quello giusto);
  • è plausibile inserire valori numericamente corretti, ma in combinazione con un’unità di misura che rende errata la risposta (es.d) (la controindicazione è la stessa di prima);
  • è invece inammissibile inserire due valori molto prossimi tra loro (anche considerando corretto quello rigorosamente esatto, risultante dal calcolo) (es.e).

LA RISPOSTA MIGLIORE

Questo tipo di quiz è utile per valutare la capacità di ragionamento, o la completa comprensione di relazioni complesse. Può esser utile per distinguere tra candidati forti e deboli, ma deve essere scritto e rivisto con attenzione, per evitare possibili ambiguità e/o soggettività che ne possano compromettere gravemente l’efficacia. Di seguito un esempio di come i suddetti rischi si possano concretizzare.

Esempio: Qual è l’aspetto più importante da considerare nella scelta della tecnica di controllo MT da utilizzare?

a) Il tempo a disposizione per la prova              
c) L’illuminazione nell’area di prova                    
b) Le caratteristiche delle attrezzature disponibili
d) Il tipo di discontinuità da ricercare

4.3    Esempi d’utilizzo di “tutte le precedenti” / “nessuna delle precedenti” 

Nello sviluppo delle 4 risposte, ponderare /limitare l’uso  (inevitabilmente come risposta “d”) delle locuzioni:

TUTTE LE PRECEDENTI1a criticità → al candidato è sufficiente riconoscere l’esattezza di due risposte per barrare “Tutte le precedenti”;
2a criticità → Tutte le precedenti” per i candidati è l’indiziata N°1 di essere la risposta corretta; per non concedere agevolazioni, ciò dovrebbe accadere nel 25% dei suoi utilizzi.
NESSUNA DELLE PRECEDENTIQuesta risposta, qualora rappresenti quella corretta, rende particolarmente impegnativo il kit delle prime 3 risposte, che devono essere inequivocabilmente errate per non compromettere la validità del quiz.

Di seguito un’esemplificazione per comparare le due suddette risposte e rendersi conto dell’impatto completamente diverso che esse hanno sulla struttura del quiz.

Prendiamo a riferimento un caposaldo della fisica degli ultrasuoni:

Gli ultrasuoni si propagano in qualsiasi mezzo materiale”.

  • Al docente che sta frettolosamente elaborando un quiz il termine “materiale”gli rimane nella penna, e sentenzia: “Gli ultrasuoni si propagano in qualsiasi  mezzo”, assumendola come espressione corretta.
  • Purtroppo però, così com’è, tale risposta risulta ambigua, e il candidato forte (competente), che deve giudicarne la veridicità è tormentato da un dubbio amletico: “il vuoto è un mezzo ??
  • Questa frase un po’ maldestra proveremo ora ad innestarla in 2 quiz che utilizzano rispettivamente “Tutte le precedenti”/ “Nessuna delle precedenti”, per poterne poi confrontare gli effetti.

5.    CONCLUSIONI ? → NO, E’ SOLO L’INIZIO!

Come già accennato, questa linea guida è stata sviluppata prendendo spunto da uno storico documento delle ASNT e sulla base dell’esperienza maturata nella gestione delle pratiche di esame. L’argomento è molto ampio e molto complesso, pertanto pur essendo consapevoli che le tematiche trattate non risultano complete, riteniamo che possa comunque essere un ottimo strumento da utilizzare come base per evolvere ulteriori ragionamenti. 

Luigi Aruta
Coordinatore Aziendale CND/MF di Trenitalia

Michael Reggiani
Direttore Generale CICPND
Vice Presidente AIPnD

Pubblicato su: “Il Giornale delle Prove non Distruttive Monitoraggio Diagnostica” n.2/2023