Proviamo ad affidare la teoria agli studenti, per vedere l’effetto che fa

L’educazione è uno degli ambiti in cui la evidence based policy produce i migliori esempi: Ester Duflo ha applicato il metodo degli esperimenti sociali controllati (randomized controlled trials, RCT) per la valutazione di progetti educativi nelle aree più povere del mondo con risultati scientificamente robusti e mostrando l’importanza della sperimentazione sul campo quale strumento di analisi preciso ed efficiente, in grado di migliorare l’utilizzo delle risorse e conoscere con precisione i meccanismi di apprendimento degli studenti. Il caso dei MOOC, le piattaforme online che offrono corsi gratuiti sia per le scuole superiori (Khan Academy) sia per l’università (Coursera e Edx), consente una ricchezza di dati e una qualità dell’informazione che, proprio sul fronte della ricerca, rappresenta almeno in potenza un universo d’analisi molto interessante. Coursera vanta ormai 9 milioni di iscritti, Edx quasi 2.5: sono numeri che nessun laboratorio sarebbe mai in grado di replicare. Qualche esperimento, così, comincia a essere effettuato: un primo esempio, in tal senso, riguarda la San Jose State University (SJSU) che, da un paio d’anni, ha avviato una partnership con il terzo attore rilevante all’interno del mondo MOOC, Udacity. Si tratta di una piattaforma che, a differenza di Coursera ed Edx, offre corsi a pagamento. La SJSU ha avviato una sperimentazione che prevede l’offerta di alcuni esami sia in modalità tradizionale (on campus) sia per via digitale attraverso Udacity (Mooc based). A partire dalla primavera 2013, l’università ha avviato un progetto di valutazione comparata dell’efficacia dei corsi MOOC e di quelli tradizionali per verificare l’impatto della metodologia didattica sul tasso di successo degli utenti. L’ipotesi è che il corso online, senza nulla togliere alla qualità della formazione, rappresenti un vantaggio per lo studente che, in qualche modo, è forzato a studiare regolarmente (stay on track). È il modello della classe ribaltata (flipped classroom) contro il metodo tradizionale: ogni studente si fa la teoria da sé a casa e, in classe, si discute o si commentano gli esercizi con una didattica sempre più laboratoriale. La sperimentazione di SJSU è ancora in corso e i primi risultati sono in realtà controversi, ma proprio per questo si tratta di un esempio interessante, perché ci consente di discutere dei pro degli RCT  ma anche di tutte le criticità di una valutazione il cui protocollo presenti elementi di bias (distorsione). Comparando il tasso di successo medio degli iscritti alla piattaforma MOOC nell’esperimento pilota della primavera 2013, il medesimo valore per la sperimentazione dell’estate 2013 e i risultati dei corsi tradizionali (on campus), i dati mostrano che la performance degli studenti coinvolti nel progetto pilota dell’estate 2013 è stata sensibilmente migliore di quella della primavera dello stesso anno, con alcuni corsi per cui la frequenza attraverso i MOOC ha garantito risultati significativamente migliori della didattica tradizionale   I dati mostrano chiaramente come la performance degli studenti coinvolti nel progetto pilota dell’estate 2013 sia stata sensibilmente migliore di quella della primavera dello stesso anno, con alcuni corsi per cui la frequenza attraverso i MOOC ha garantito risultati significativamente migliori della didattica tradizionale. (anche di 10 punti percentuali per statistica e algebra). In realtà, ci sono stati problemi non banali per quanto concerne le caratteristiche delle due popolazioni prese a riferimento durante la sperimentazione: quella degli studenti MOOC di primavera 2013, infatti, era costituita da un 20% di studenti delle scuole superiori e dal 62% di studenti non immatricolati alla SJSU, mentre gli immatricolati alla stessa erano comunque tutti studenti che, in passato, avevano già fallito un esame di recupero di matematica. Si trattava dunque di una popolazione selezionata rispetto a quella degli studenti on campus. Perché i risultati di un esperimento possano considerarsi, come si dice in gergo, validi esternamente, è tuttavia necessario che le due popolazioni di riferimento siano assolutamente comparabili e omogenee. Il secondo esperimento, di cui ancora si attendono i risultati definitivi, ha perciò proceduto con una definizione del setting più precisa e statisticamente difendibile, anche se rimane una criticità piuttosto forte: la SJSU misura infatti, semplicemente, la percentuale di studenti che passano il corso e si serve di questo come dell’indicatore comparabile tra i due campioni dell’esperimento (l’outcome di riferimento su cui basare la valutazione). Il problema è che una media dice molto poco di alcune caratteristiche che, invece, le moderne tecniche d’analisi investigherebbero più in dettaglio (età, genere, etnia, status socio-economico, IQ, esperienza pregressa). Calcolare soltanto la media dei promossi può essere intuitivo ma, come dice il detto, “se ho la testa in frigo e i piedi in forno, non posso concludere che in media sto bene”. Un esperimento condotto in modo rigoroso richiederebbe, dunque, la definizione di un protocollo chiaro e replicabile, in modo che chiunque possa tentare di seguire la strada del team di ricerca e verificare la robustezza dei risultati proposti in differenti contesti e con differenti setting. Siamo in ogni caso solo agli inizi delle applicazioni di una metodologia dal grande potenziale e, sicuramente, le piattaforme MOOC rappresentano un laboratorio ideale per lo studio delle modalità di apprendimento degli studenti e di funzionamento delle differenti tipologie didattiche.