Introduzione al Design of Experiment

Per Design of Experiment, spesso indicato con l’acronimo DOE, si intende una metodologia che consente di pianificare un esperimento al fine di dimostrare la relazione che sussiste tra variabili di input e di output di un processo o di un sistema.

Qualsiasi tipo di esperimento venga condotto, esso parte sempre con una fase iniziale di progettazione in cui si decide ad esempio cosa si vuole misurare e quali fattori studiare. In questo appunto spieghiamo come mai questa fase è critica per identificare velocemente, correttamente e con il minor uso di risorse le relazioni che sussistono tra i fattori che determinano un processo ed il suo output.

In particolare vedremo:

• Cosa significa condurre un esperimento
• Introduzione al concetto di Design of Experiment
• Vantaggi del Design of Experiment
• Principi base del DOE
• Principali step di un DOE

Per ulteriori approfondimenti su temi relativi ad analisi statistica e di processi ti rimandiamo alla barra di ricerca che trovi nella parte superiore della pagina.

Cosa significa condurre un esperimento

La nostra esperienza quotidiana ci mette costantemente di fronte alla necessità di approfondire la nostra conoscenza su come funzioni un sistema, un prodotto o un processo. Possiamo dire che tale conoscenza è tanto più approfondita quanto maggiore è la possibilità di determinare, indirizzare un comportamento o un esito. Essa non deriva dalla semplice osservazione del processo (o prodotto) ma dall’identificazione critica delle relazioni (es. causa-effetto) che sussistono tra i diversi fattori che possono influenzarlo.

Questo approfondimento richiede un’interazione attiva con la modifica dei valori di tali fattori e con la verifica della relativa variazione che si riflette sull’esito di un processo. Possiamo identificare questa interazione con il nome di esperimento.

Consideriamo un generico processo manifatturiero che trasforma del materiale in ingresso (materiale grezzo o semilavorato) in un prodotto finito. Le caratteristiche di tale prodotto finito possono essere influenzate non solo dalla qualità del materiale in ingresso, ma anche da diversi fattori interni al processo stesso o alla strumentazione utilizzata (es. parametri macchina o di processo) oppure esterni e meno facilmente controllabili (condizioni ambientali):

Il tutto è rappresentato in modo schematico nella figura sopra. Il processo lavora del materiale in input ed il suo esito (il valore di una caratteristica y del prodotto in output) può dipendere da fattori controllabili (indicati con la generica variabile x) o meno (indicati con la generica variabile z). Ammettendo di trascurare i fattori non controllabili o di ammettere che la loro variazione sia casuale e non determina, per esperienza, alcun impatto sulla caratteristica in esame, gli esperimenti consentono di determinare relazioni del tipo:

y = \alpha_{0} + \alpha_{1}x_{1}+ \alpha_{2}x_{2}+ \alpha_{1,2}x_{1}x_{2} +... + \epsilon

dove per semplicità è stata considerata una relazione di tipo lineare (gli esponenti delle variabili sono al massimo pari a 1) e dove i coefficienti rappresentati con la lettera greca alfa sono i coefficienti da determinare mediante l’esperimento. Il coefficiente α_1,2 identifica l’effetto dovuto all’interazione dei fattori x₁ e x₂.

Identificare il valore di ciascun coefficiente non è per nulla banale e richiede di condurre un esperimento con diversi passaggi, diverse prove. L’esperimento non si identifica con una singola prova ma con l’insieme di tutte le prove pianificate per identificare la relazione tra y e i vari fattori x.

Introduzione al concetto di Design of Experiment

Eseguire un esperimento non è per nulla un’operazione banale e può richiedere un dispendio di risorse economiche e non (es. tempo). E’ necessario, dunque, massimizzare le informazioni e migliorare la confidenza statistica degli esiti che emergono da un esperimento mediante una pianificazione adeguata. Qui entra in gioco il concetto di Design of Experiment (DOE).

Per DOE si intende infatti una ingegnerizzazione, pianificazione, progettazione di un esperimento e dell’analisi dei dati che ne consegue in modo da ottenere degli esiti significativi da un punto di vista statistico. La progettazione corretta di un esperimento richiede di rispondere a priori ad alcune domande:

• quanto deve essere grande il campione oggetto del test (quante prove? qual è il sample size?)
• Le prove sono distruttive? Si conoscono i tempi e i costi di ciascuna prova? Quali risorse sono a disposizione per l’esperimento?
• Quale metodo statistico sarà utilizzato per l’analisi dei dati?
• Quale caratteristica bisogna valutare dell’output del processo? I metodi di misura sono in controllo? C’è il rischio che la variabilità della misura sia indotta da un sistema di misura non correttamente calibrato?
• E’ possibile isolare l’influenza dei singoli fattori? E’ necessario studiare anche gli effetti indotti dall’interazione di più fattori?
• Quali dei fattori ha maggiore influenza sul processo? Esiste una conoscenza del processo tale da selezionare in modo ragionevole un fattore invece di un altro? E’ necessario fare delle misure di screening dei fattori prima di progettare un DOE?
• …

Le domande sono tante ed un’errata valutazione di una delle risposte può influenzare il corretto esito dell’esperimento. Progettare significa dunque identificare anche il modo sistematico con il quale i vari fattori devono essere variati al fine di identificare facilmente le relazioni che sussistono tra essi e la y, riducendo il costo ed il tempo per l’esecuzione delle prove.

Vantaggi del Design Of Experiment

Si immagini di voler studiare un processo di cui identifichiamo 2 possibili fattori che possono condizionare la caratteristica dell’output y del nostro processo e di voler identificare la combinazione dei due che produce il miglior risultato. L’esperienza di ogni giorno potrebbe suggerirci due approcci:

• Il primo è un approccio trial and error e consiste in vere e proprie prove della combinazione dei due fattori osservando come varia l’output. Il metodo non consente di determinare con esattezza il miglior set di valori che i fattori devono avere per determinare il miglior risultato ma determina solo la combinazione migliore tra quelle provate.
• Il secondo approccio è detto One Factor At a Time (OFAT) e consiste nel verificare come varia il risultato al variare del primo fattore e poi del secondo con esperimenti separati. Anche in questo caso il metodo richiede diverse prove e risulta oneroso con l’aumentare del numero di fattori. Inoltre non considera un aspetto molto comune. I fattori possono interagire tra loro e nel modello possono intervenire dei coefficienti di interazione che possono avere un peso non trascurabile nel risultato del nostro processo. Infine anche questo metodo non consente di definire il set di valori che i fattori devono avere per determinare il miglior risultato

Metodi che si basano sul design of experiment consentono invece di variare simultaneamente i valori di più fattori, studiarne l’effetto combinato ed esplorare l’intera regione dello spazio costituito dalle possibili combinazioni dei valori delle variabili di input. Inoltre il design of experiment consente di fare tutto ciò con un numero di prove più contenuto a vantaggio di un minor dispendio di risorse economiche e di tempo.

In appunti dedicati vedremo alcuni approcci di design of experiment che si basano su modelli statistici ben precisi. Alcuni esempi sono:

Full Factorial Design: si tratta di un approccio che considera tutte le possibili combinazioni delle variabili che possono influenzare il nostro processo. Immaginiamo di avere 4 variabili che influenzano un processo ed ognuna delle quali ha due livelli del tipo alto/basso, tipo1/tipo2. Il full factorial design è un modello che genera 2⁴ combinazioni di prove esplorando l’intero spazio di combinazioni

Fractional Factorial Design: si tratta di un approccio che ottimizza il precedente considerando solo una frazione delle possibili combinazioni. E’ chiaramente, meno dispendioso del primo soprattutto all’aumentare del numero di livelli e di combinazioni

Principi basilari DOE

Prima di parlare dei principali passaggi necessari per poter sviluppare il DOE, vediamo alcuni dei principi basilari da dover tenere in considerazione e che sono stati introdotti da uno dei pionieri del DOE, Ronald Fisher. I principi sono:

• Randomizzazione: dove random sta a significare casuale. L’ordine con cui le delle prove degli esperimenti sono eseguite, e l’ordine con cui il materiale deve essere analizzato deve essere del tutto casuale. Un approccio casuale nella scelta del materiale e nell’esecuzione delle prove consente di mitigare ed annullare l’effetto di fattori estranei a quelli oggetto dell’esperimento
• Replicazione: ovvero determinare un valore con più repliche dello stesso esperimento. Ciò consente di avere dati con una significatività statistica maggiore ed una incertezza dei dati risulta notevolmente ridotta. E’ importante non confondere la replciazione con una misura ripetuta. Eseguire la stessa misura con lo stesso campione significa ripetere una misura ma non significa replicare l’esperimento. SI immagini di eseguire una sola replica di un esperimento e di associare al valore ottenuto della nostra y un’incertezza sigma. Se eseguiamo n repliche, e calcoliamo la media campionaria di y, abbiamo che l’incertezza della media campionaria è pari a:

\sigma_{\overline{y}} = \frac{\sigma}{\sqrt{n}}

l’incertezza sul valore trovato si riduce di un fattore pari alla radice del numero delle repliche eseguite.

Blocking sta ad indicare una organizzazione non casuale dell’esperimento atta a migliorare la precisione con la quale sono confrontati dei fattori di interesse. Lo scopo è eliminare la variabilità di fattori ai quali non siamo interessati definendo dei blocchi. Si consideri ad esempio uno studio sugli effetti di un nuovo medicinale. Per eliminare la variabilità legata al sesso del paziente, occorre somministrare i trials ad un ugual numero di maschi e femmine

Principali step di un DOE

Per realizzare un Design of Experiment è necessario realizzare alcuni passaggi che consentono di definire il problema, l’oggetto dell’esperimento, definire come i dati saranno raccolti e successivamente analizzati. Di seguito i passaggi principali per realizzare un DOE:

• Definizione del problema: per poter eseguire correttamente l’esperimento è fondamentale avere bene in mente qual è il problema che si vuole affrontare. Si tratta di uno step apparentemente banale ma che richiede di approfondire tutti i vari aspetti del processo o sistema in studio e di coinvolgere più funzioni aziendali per la corretta formulazione del problem statement. Spesso le domande a cui rispondere possono essere molteplici e non è possibile rispondere contemporaneamente a tutte con un unico esperimento. Il problem statement definisce anche lo scopo dell’esperimento. Possiamo infatti avere esperimenti atti ad ottimizzare un processo o esperimenti atti a conoscere tutte le variabili di un processo nuovo e totalmente sconosciuto
• Identificare la variabile di output da misurare: una volta capito il problema bisogna scegliere quale variabile monitorare e quale valore statistico (media o deviazione standard) studiare. In questa fase è anche importante comprendere se e come la strumentazione ed il metodo di misura possa essere critico per consentire di ottenere valori con un’accuratezza e precisione adeguata al tipo di esperimento che si vuole condurre
• Identificare le variabili di input da modificare: in questa fase non solo si identificano quali variabili devono essere modificate ma anche i livelli di ciascuna variabile. E’ fondamentale inoltre capire se ci sono variabili che possono interagire tra loro e se sarà necessaria un’analisi adeguata di tale interazione. In questa fase si definiscono anche le variabili di non interesse che verranno mantenute costanti durante l’intero processo sperimentale
• Scegliere il tipo di design dell’esperimento: in questa fase si determina il tipo di esperimento che si vuole condurre, l’ampiezza del campione, ed il tipo e l’ordine dei test. La scelta eseguita in questa fase dipende dagli esiti dei passaggi precedenti
• Analisi statistica: l’analisi statistica consente di definire una risposta al problema definito associandone un livello di confidenza.
• Conclusioni: l’ultimo step è capire se necessario eseguire dei confirmation test o se eseguire altri esperimenti per rafforzare la risposta al problem statement. Spesso l’esito di un esperimento aumenta la conoscenza che si ha di un processo ponendo le basi per un nuovo esperimento.