Parametri di validazione

di

Presentazione di alcuni parametri di validazione

Con il presente articolo si esaminano alcuni parametri di validazione. Costituisce integrazione e completamento dell’articolo “Validazione di un metodo di prova“.

Già sono stati affrontati gli argomenti della selettività, limite di rilevabilità e quantificazione di cui si rimanda agli specifici articoli.

Pertanto andiamo a valutare i seguenti parametri di validazione:

  • il campo di applicazione;
  • la linearità e l’intervallo di linearità;
  • l’accuratezza e la giustezza;
  • la ripetibilità e la riproducibilità;
  • la robustezza.

Presentazione di alcuni parametri di validazione: Campo di applicazione o di misura

Il campo di applicazione o di misura, solitamente, è dettagliato nel metodo di prova [3] individuato dal Laboratorio per l’analisi di uno o più analiti (es.: prodotti fitosanitari, ecc.) su matrici/prodotti definiti (es.: alimenti di origine vegetale).

Immagine 1: rappresentazione elaborata dall’Autore in base al documento p.to [6] della bibliografia

Trattasi di un intervallo di concentrazione, nel quale il Laboratorio verifica che tutti i “parametri caratteristici” del metodo di prova abbiano valori accettabili rispetto a quanto indicato in fase di progettazione/studio di fattibilità [6].

Consideriamo l’esempio di cui all’immagine 1. Per semplicità sono state rappresentati solo alcuni dei parametri caratteristici. L’intervallo di concentrazione comune ai parametri di validazione esaminati è rappresentato dal range A-B.

In questo caso il campo di misura, sperimentalmente individuato, è costituito dall’intervallo di concentrazione A-B. Si tratta di valutare se tale range è compatibile con il tenore della concentrazione dei campioni di prova. Se non lo fosse bisogna rivedere lo studio di fattibilità/progetto e procedere ad una nuova validazione [6].

e ancora…

In ciascun metodo di prova per determinazioni quantitative è necessario stabilire l’intervallo di concentrazione dell’analita entro il quale il metodo è applicabile [3].

Con la validazione, il Laboratorio individua e conferma per ciascun analita, il “campo di misura” entro il quale il metodo di prova per l’appunto è applicabile [2]. Ossia, come riporta l’ISS (documento Eurachem) [2]: si fa riferimento ad un intervallo di misura all’interno del quale il metodo fornisce risultati con un’incertezza accettabile.

Un processo analitico, in particolare per i residui dei pesticidi, in maniera semplicistica, può essere diviso in due parti; la:

  • preparazione/estrazione/diluizione del campione oggetto di controllo;
  • misura del campione di prova con lo strumento indicato nel metodo di prova.

Pertanto si individuano due intervalli di misura:

  • del metodo di prova;
  • dello strumento.

Intervallo di misura del metodo di prova

Nel paragrafo “campo di applicazione” del metodo di prova, oltre all’indicazione degli analiti, delle matrici, delle interferenze, ecc. si definisce l’intervallo di misura, espresso in concentrazione (es.: mg/kg, ecc.), del campione di laboratorio nel quale il metodo stesso può essere applicato.

Al punto 4.7 del VIM si legge: “insieme dei valori di grandezze della stessa specie che possono essere misurate da un determinato strumento di misura o sistema di misura con una incertezza strumentale specificata, in condizioni d’uso definite“.

L’intervallo di misura è individuato sottoponendo i campioni all’intero processo, e successivamente, misurati con lo strumento tarato ed indicato nel metodo di prova.

L’intervallo di misura del metodo deve essere definito per ogni matrice che potrebbero essere oggetto di analisi.

Immagine 2: tratta dal documento di cui al p.to [2] bibliografia

e ancora…

In analogia alla rappresentazione di cui all’immagine 2, si portano in grafico:

  • asse delle ascisse(x): la concentrazione dei campioni di prova;
  • asse delle ordinate (y): i dati della concentrazione misurata con lo strumento.

Quindi si procede per:

  • esaminare visivamente il grafico per valutare l’esistenza di un intervallo di linearità;
  • individuare i limiti: inferiore e superiore;
  • calcolare i parametri caratteristici della regressione;
  • calcolare i residui e riportarli graficamente;
  • potrebbe verificarsi un andamento grafico descrivibile con una funzione non lineare (es.: funzione di secondo grado).

Nello studio di fattibilità (vedi articolo validazione di un metodo di prova) devono essere valutati sia l’intervallo di misura del metodo che dello strumento.

Intervallo di misura dello strumento

Immagine 3: tratta dal documento p.to [2] bibliografia

L’intervallo di misura strumentale fa riferimento ad un range di concentrazione individuato in un campione sottoposto ad estrazione e misurato con lo strumento indicato nel metodo di prova. Si parla di un range di concentrazione, dove all’estremo inferiore troviamo il limite di quantificazione (LOQ), mentre l’estremo superiore (ES) dipende molto dalla risposta dello strumento in dotazione al Laboratorio [2].

In genere ES fa riferimento a quelle concentrazioni alle quali si osservano anomalie significative nella sensibilità analitica [3].

Nella validazione è utile confermare la risposta dello strumento nel range compreso fra il LOQ e l’ES e se segue:

  • una funzione lineare (caso più semplice) del tipo: y = mx + q dove m rappresenta la pendenza e q l’intercetta della retta;
  • o una relazione tra le due variabili (x, y) che può essere espressa mediante funzioni matematiche più o meno complesse (es.: una funzione descritta con una equazione di secondo grado).

Nella validazione è necessario altresì dimostrare che l’intervallo di misura dello strumento sia compatibile con l’intervallo dichiarato nel campo di applicazione del metodo [2].

Immagine 4: tratta dal documento di cui al p.to [10] della bibliografia ed adattata dall’Autore

Linearità ed intervallo di linearità

Come indicato il Laboratorio valuta l’intervallo nel quale la correlazione tra la risposta dello strumento e la concentrazione, segue una funzione, ad esempio, di tipo lineare:

y‘ = mxi + q

dove:

  • m: pendenza della retta;
  • q: intercetta della retta.

Ad esempio, nei metodi/procedure di prova che descrivono le modalità per quantificare la concentrazione dei residui dei pesticidi (vedi articolo specifico), si deve individuare la funzione che meglio si adatta alle coppie di valori:

  • xi: concentrazione nota;
  • yi: segnale strumentale.

Già è stato detto che la risposta dello strumento potrebbe seguire anche una relazione non lineare [2]. Per questo è importante verificare, nel tempo, la relazione tra la concentrazione e la risposta strumentale con una frequenza opportuna che il laboratorio deve definire nei documenti della qualità [3].

Durante la validazione si verifica, e si conferma, che il metodo di prova può essere usato all’interno di tale intervallo [2]. Per tale ragione è necessario fare riferimento ad un numero significativo di livelli di concentrazione.

E’ importante altresì sottolineare che non sempre l’intervallo di misura coincide con l’intervallo di linearità come si può vedere dall’immagine 3.

Taratura

Il punto 2.39 del vocabolario internazionale di metrologia VIM, riguarda la “taratura”. 

Definizione:
"operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione"

Nella nota 1:

"L'esito di una taratura può essere espresso mediante una dichiarazione, una funzione di taratura, un diagramma di taratura, una curva di taratura, o una tabella di taratura. In alcuni casi esso può consistere in un semplice fattore additivo o moltiplicativo, utilizzabile per la correzione, accompagnato dall'incertezza di misura associata."

Nella nota 3:
"Spesso, solamente la prima fase citata nella definizione è interpretata come taratura."

Per approfondimenti si consigliano, in particolare, la lettura del documento dell’UNICHIM (p.to [7] della bibliografia): “Metodi analitici strumentali: studio della curva di taratura” e il Manuale UNICHIM 179/0 (p.to [6] della bibliografia).

Per chi effettua controllo dei residui dei pesticidi negli alimenti di origine vegetale è necessario considerare sempre anche il SANTE 11312/2021.

In tale documento nel paragrafo “calibration for quantification” si dice che:

  • deve essere utilizzata una funzione di calibrazione adeguata (ad es. lineare, quadratica, con o senza pesatura);
  • si preferisce la calibrazione multilivello (tre o più livelli di concentrazione);
  • ecc.

Presentazione di alcuni parametri di validazione: accuratezza, giustezza e precisione

I parametri di validazione: accuratezza, giustezza e precisione sono tra i più importanti da valutare.

Accuratezza

Immagine 5: tratta dal documento di cui al p.to [13] della bibliografia

La definizione di accuratezza è riportata nel VIM, al punto 2.13: “grado di concordanza tra un valore misurato e un valor vero di un misurando”

assieme ad alcune note:

  1. L’accuratezza di misura non è una grandezza e a essa non si assegna un valore numerico. Una misurazione è ritenuta tanto più accurata quanto minori sono gli errori di misura che la caratterizzano.
  2. Il termine «accuratezza di misura» non dovrebbe essere impiegato per indicare la giustezza di misura, così come non si dovrebbe usare il termine «precisione di misura» per indicare l’accuratezza di misura. Resta comunque evidente che il concetto di accuratezza è legato a quelli di giustezza e di precisione.
  3. Talvolta l’accuratezza di misura è interpretata come concordanza tra i valori misurati attribuiti a un misurando.
Immagine 6: tratta dal documento di cui al p.to [2] della bibliografia

L’accuratezza è dovuta alla combinazione degli errori casuali e sistematici ed è una caratteristica qualitativa del singolo risultato [13]. Pertanto, e come dedotto dalla nota 2, il modo migliore per esprimere quantitativamente l’accuratezza è studiare la giustezza e la precisione [2].

Inoltre la stima dell’incertezza di misura è, sempre più, usata per dare indicazione dell’accuratezza (vedi immagine 5 e 6) [2, 13] .

Il Laboratorio la può valutare da prove singole: possono essere le stesse attuate per il controllo di qualità interno del metodo di prova in uso. A tale proposito si fa uso preferibilmente di materiali di riferimento certificati. Qualora non fosse possibile si impiega un campione “bianco” esente dall’analita, al quale viene aggiunto una quantità nota della sostanza oggetto di interesse impiegando, preferibilmente, una soluzione standard certificata.

Giustezza

Nell’immagine 5 si parla di trueness, ossia esattezza, definizione sostituita nel VIM dal concetto di giustezza. Infatti, al punto 2.14 della VIM troviamo la definizione:

“grado di concordanza tra la media di un numero infinito di valori misurati ripetuti e un valore di riferimento”

assieme ad alcune note:

  1. La giustezza di misura non è una grandezza e non è possibile assegnare a essa un valore numerico; tuttavia, la ISO 5725 definisce indicazioni per la valutazione del grado di concordanza citato nella presente definizione.
  2. La giustezza di misura varia in modo inverso rispetto all’errore sistematico, ma non ha relazioni con l’errore casuale.
  3. Il termine «accuratezza di misura» non dovrebbe essere impiegato per designare la giustezza di misura.

Si parla di un numero infinito di risultati circostanza sicuramente non facile da realizzare e, pertanto, si raggiunge una stima della giustezza attraverso lo scostamento di misura o bias [2].

Il VIM al punto 2.18, alla voce scostamento di misura riporta quale definizione: “stima di un errore di misura sistematico“.

Per effettuarne la valutazione del bias si possono:

  • usare dei materiali di riferimento certificati con valore noto dell’analita di interesse. Il laboratorio verifica la differenza fra la media di una serie di misure ottenute usando il metodo di prova e, per l’appunto, il valore noto;
  • effettuare il confronto con un altro metodo preso come riferimento;
  • dalla partecipazione a proficiency test oppure ad un collaborative trials;
  • prove di recupero ottenute addizionando, preferenzialmente, una soluzione certificata dell’analita di interesse [2]. L’accettabilità del recupero è fissata da linee guida e/o da norme specifiche di settore.

Precisione

Il Laboratorio deve altresì considerare la precisione ottenuta in condizione di ripetibilità e riproducibilità [2]. La precisione è sicuramente uno dei più importanti parametri di validazione. Serve al Laboratorio per apprezzare le proprie performance dal confronto con il metodo di riferimento oppure con le specifiche fissate in fase di studio di fattibilità (progetto) atte comunque a soddisfare le esigenze del Cliente.

Il VIM al punto 2.15 riporta: “grado di concordanza tra indicazioni o valori misurati ottenuti da un certo numero di misurazioni ripetute dello stesso oggetto o di oggetti similari, eseguite in condizioni specificate“.

Inoltre troviamo alcune note:

  1. Generalmente, la precisione di misura è espressa numericamente mediante misure d’imprecisione, quali scarto tipo, varianza, o coefficiente di variazione sotto condizioni di misurazione specificate;
  2. Le condizioni specificate, citate nella presente definizione, possono essere, per esempio, condizioni di ripetibilità, condizioni di ripetibilità intermedia, oppure condizioni di riproducibilità (vedere la ISO 5725-1:1994).

Eseguendo le prove con il metodo individuato dal Laboratorio e condotto da un singolo analista, con la medesima attrezzatura, le medesime soluzioni, in un breve periodo di tempo si ottengono informazioni sulla ripetibilità stretta espressa dallo scarto tipo sr.

Limite di ripetibilità r

Dallo scarto tipo sr, ricavato per l’appunto in queste condizioni, è possibile risalire al limite di ripetibilità “r”:

dove:

  • X1 e X2: rappresentano il valore del risultato delle prove in doppio;
  • tp,v: è il t di Student a due code con “v” gradi di libertà e al livello di fiducia “p” (solitamente 95% o 99%);
  • sr: lo scarto tipo di ripetibilità ottenuto in fase di validazione del metodo di prova.

Conoscendo “r” l’Operatore è in grado di decidere se la differenza tra due misure consecutive ripetute dello stesso campione, sia o meno significativa [2]. Serve a verificare se il sistema analitico opera in condizioni di ripetibilità.

Se le prove sono condotte, per esempio, in un tempo più lungo, conservando inalterate le altre caratteristiche, si ottengono informazioni sulla ripetibilità intermedia. Ragionevolmente, lo scarto di tipo di ripetibilità intermedia “si” risulterà maggiore di “sr” poichè in un tempo maggiore, si possono intersecare più variabili (es.: più Operatori abilitati, strumenti con differenti tarature, soluzioni differenti, ecc.).

La ripetibilità intermedia è fondamentale per quantificare l’incertezza di misura.

Quando la prova è condotta in più laboratori (es: Collaborative trials, proficiency test) usando il medesimo metodo di prova la precisione ottenuta è rappresentata dallo scarto tipo di riproducibilità sR.

Criterio di Thompson

Un criterio per valutare se l’attività condotta dal Laboratorio si mantiene sotto controllo statistico è rappresentato dalla serie di Thompson. Deve verificarsi che:

Qualora la condizione non fosse rispettata è necessario fare approfondimenti per individuare le cause e, ovviamente, cercare di rimuoverle.

Accettabilità della ripetibilità
Tabella 1: esempi prodotti dall’autore

Il dato di ripetibilità “sr” conseguito dal Laboratorio, durante la validazione del metodo di prova, deve essere sottoposto a verifica. Consiste nel valutare che “sr” sia compatibile:

  • con “σr” del metodo di prova normato scelto,
  • oppure con il valore prefissato “s” come obiettivo di ripetibilità del metodo in fase di progetto.

Il rapporto sr/σr o sr/s deve essere compreso all’interno dell’intervallo riportato tra i limiti di fiducia minimi (p = 0,025) e massimi (p = 0,975) in funzione dei gradi di libertà v = n – 1 (n: numero delle prove).

Ad esempio con n = 10, ossia v = 9 il rapporto sr/σr o sr/s deve essere compreso fra: 0.55 e 1.45.

Se il metodo di prova adottato dal Laboratorio non presenta dati di precisione si può assumere come riproducibilità quella corrispondente all’equazione di Thompson/Horwitz per il livello di concentrazione dell’analita. A tale proposito la tabella 1 riporta alcuni esempi di calcolo.

Robustezza

Un metodo di prova si definisce “robusto” quando vengono deliberatamente introdotte delle variazioni, nelle fasi della sua esecuzione, senza che vi siano significative influenze nel risultato finale.

Si precisa che “influenzare significativamente sul risultato finale” vuol dire che il metodo non potrebbe garantire di operare entro i limiti di incertezza stabiliti e quindi risulterebbe non più idoneo allo scopo.

La valutazione della robustezza viene attuata mediante deliberate varianti (fattori) al metodo di prova e, quale conseguenza, l’indagine dell’effetto sulle prestazioni [2]. Fra i parametri da valutare si esaminano quelli che in misura maggiore potrebbero influire sul risultato finale.

Pertanto, dapprima si devono identificare gli aspetti del metodo di prova che possono influenzare il risultato utilizzando prove di robustezza. Ad esempio nell’analisi dei pesticidi potremmo esaminare:

  • i lotti diversi di uno stesso reagente fornito da un produttore;
  • i lotti differenti di uno stesso reagente, acquistato sempre da alcuni produttori;
  • concentrazione di un reagente;
  • pH diverso in una soluzione;
  • tecnici con diversa esperienza e competenza;
  • tempi di esecuzione delle prove (tempo di analisi);
  • mutate condizioni ambientali nelle varie stagioni;
  • separazione fra due picchi cromatografici;
  • cambiamenti nello strumento;
  • ecc.

Metodo DOE

Per esaminare la Robustezza si propone di usare il metodo DOE (Design of experiments) [14]. Il metodo fa riferimento alla tecnica della sperimentazione fattoriale frazionata. Permette di ottenere le stesse informazioni selezionando una frazione di tutte le possibili combinazioni delle prove. Questo procedere riduce notevolmente il numero delle prove e quindi il costo e il lavoro a carico del Laboratorio. Ad esempio, ricorrendo a 3 parametri critici (variabili) è sufficiente fare riferimento alla matrice riportata nell’Immagine 7. Con tre variabili è sufficiente eseguire 4 prove su una matrice certificata. Il segno + indica un incremento del parametro rispetto al valore ottimale, viceversa con il segno – si indica un decremento. Con questa modalità si valuta la robustezza del metodo di prova in uso, si individuano i parametri critici più significativi e si assicura che siano adeguatamente sotto controllo [2].

Immagine 7: tratta dal documento p.to [12] bibliografia

A tale proposito si possono controllare le variabili critiche, progettando adeguati controlli di qualità, dichiarando specifici limiti di tolleranza riportati in un documento del sistema di qualità [2].

ancora ….

Una volta effettuate le prove:

  • per ogni cambiamento delle condizioni valutare l’effetto sui risultati di misura;
  • riportare le variabili in ordine decrescente di entità dell’effetto sulle prestazioni del metodo di prova;
  • eseguire test di significatività (F test) per determinare se gli effetti osservati sono statisticamente significativi [2]. Con un risultato positivo, in altre parole: varianze compatibili, il metodo di prova è robusto, limitatamente alle variazioni adottate dal Laboratorio ed esplicitate dalle prove.

Considerato che la robustezza viene valutata durante la messa a punto di un metodo di prova, è sicuramente indispensabile una sua valutazione per un metodo interno prodotto dal Laboratorio. La robustezza deve essere esaminata anche qualora il Laboratorio usa un metodo normato al di fuori dallo scopo specificato nel metodo normato medesimo [2].

Una modalità per valutare indirettamente la robustezza di un metodo di prova è quello di conseguire risultati soddisfacenti nella partecipare a Proficiency test eseguendo le prove con il metodo di interesse, per gli analiti oggetto di scopo e per più livelli di concentrazione.

Per saperne di più

  • Accredia, https://www.accredia.it/
  • Eurachem, https://www.eurachem.org/
  • Comitato elettrotecnico italiano, VIM, https://www.ceinorme.it/
  • EURL, DG SANTE, https://www.eurl-pesticides.eu/
  • ISS, https://www.iss.it/

Norme

  • UNI CEI EN ISO/IEC 17025:2018, Requisiti generali per la competenza dei laboratori di prova e taratura
  • Sante 11312/2021, Procedure analitiche di controllo della qualità e di convalida del metodo per l’analisi dei residui di pesticidi negli alimenti e nei mangimi, EURL
  • Reg. 625/2017, … controlli ufficiali …
  • D.Lgs. 31/2001, DM 14/06/2017, D.Lgs. 219/2010 …

Bibliografia

Campo di applicazione

[1] UNI CEI EN ISO/IEC 17025:2018 Requisiti generali per la competenza dei laboratori di prova e taratura
[2] ISS, Rapporto Istisan 16/39, Guida Eurachem, Idoneità per lo scopo dei metodi analitici Guida per i laboratori sulla validazione dei metodi e argomenti correlati, Seconda edizione 2014
[3] Arpa – Appa, Linee guida per la validazione dei metodi analitici, Ancona
[4] Vocabolario internazionale di metrologia VIM, https://www.ceinorme.it/
[5] EURL, Procedure analitiche di controllo della qualità e di convalida del metodo per l’analisi dei residui di pesticidi negli alimenti e nei mangimi, Sante 11312/2021
[6] Manuale UNICHIM 179/0 edizione 2011 “Linee guida per l a convalida dei metodi analitici nei laboratori chimici – criteri generali
[7] UNICHIM, Metodi analitici strumentali: studio della curva di taratura, N. Bottazzini, 2011
[8] La calibrazione nell’analisi strumentale, http://www.iisbernaldaferrandina.edu.it/
[9] Università della Calabria, Il metodo dei minimi quadrati e la retta di regressione, Francesco Dell’Accio, 2016
[10] Università di Parma, Capitolo XVI-Regressione lineare semplice, Prof. Soliani, http://www.dsa.unipr.it/soliani/capu16.pdf
[11] Introduzione alla Analisi dei Dati Sperimentali, Università di Roma, Giugno 2015, draft version
[12] Introduzione alla chemiometria, ResearchGate, https://www.researchgate.net
[13] Incertezza di misura, Danilo Argentini – Arpa Lazio, Alessandro Grigato – Arpa Veneto, Il Bollettino 2011, 2-3
[14] ArpaV, La progettazione degli esperimenti nella validazione dei metodi di prova, A. Grigato, 2003



Autore: Marco Morelli

Pubblicato il 20.08.2022