
Le ore risparmiate con ChatGPT, Copilot, Gemini e Claude non sono un business case
Microsoft ha dato le licenze di Copilot a caso a circa metà degli oltre 6.000 dipendenti coinvolti in 56 aziende, e per almeno sei mesi ha misurato dalla telemetria le attività svolte. Chi aveva la licenza ha passato 12 minuti in meno a settimana a leggere email e ha chiuso i documenti di Word il 6% più in fretta. Solo il 38% di chi aveva la licenza la usava ogni settimana.
È uno dei pochi numeri sull’AI che vengono da un esperimento con un gruppo di controllo. Quando è possibile fare confronti, i numeri sull’AI si restringono: questo è il filo conduttore di tutto quello che leggerete.
Cosa è cambiato: due misure che non si parlano
Il 30 settembre BCG ha pubblicato l’Applied AI Index 2026: su 1.330 dirigenti, quasi metà delle aziende dichiara di ottenere dall’AI un valore reale. Un anno prima era il 5%.
A ottobre è uscita la revisione di un paper NBER, firmato fra gli altri da Nick Bloom e Steven Davis, con un risultato molto più piccolo. Gli autori hanno intervistato quasi 9.000 CEO, CFO e altri dirigenti in sette paesi. Il 78% delle loro aziende usa l’AI, ma quando si chiede di quanto abbia fatto crescere la produttività del lavoro negli ultimi tre anni, la stima degli stessi dirigenti è dello 0,2% l’anno. Per i prossimi tre se ne aspettano lo 0,6%.
Le due indagini rispondono a domande diverse. La prima chiede se l’AI genera valore, la seconda di quanto è cresciuta la produttività rispetto a prima. Chi lavora nella misurazione riconosce la distanza: è quella fra il ROAS che la piattaforma si attribuisce e l’effetto che resta quando togli quello che sarebbe successo comunque.
Nessuna delle due, però, è una misura: sono entrambe stime dei dirigenti. E quando un’azienda deve decidere se comprare le licenze, la stima da cui parte quasi sempre è un’altra ancora, le ore.
Le ore dichiarate
Quasi tutti i business case dell’AI che vedo, che si tratti di ChatGPT Enterprise, Gemini per Workspace, Copilot o Claude, partono dalle ore: quanti minuti risparmia ogni persona, moltiplicati per il costo orario e per l’organico. Il numero è facile da produrre e si gonfia da solo.
Si gonfia perché i minuti risparmiati li stimano le persone stesse, e anche chi lavora bene li stima male. Nello studio di METR, fatto con gli strumenti di inizio 2025, sviluppatori esperti al lavoro sui propri progetti hanno impiegato il 19% di tempo in più con l’AI. Alla fine erano convinti di aver fatto il 20% più in fretta. Se chi usa lo strumento sbaglia perfino il segno, un business case costruito sulle ore dichiarate parte già sbagliato.
Il caso: 26 minuti al giorno, dichiarati
Lo stesso schema, su scala molto più grande. Fra ottobre e dicembre 2024 il governo britannico ha dato una licenza di Microsoft 365 Copilot a 20.000 dipendenti di dodici amministrazioni. Il rapporto finale, uscito a giugno 2025, dice che ognuno risparmia in media 26 minuti al giorno, e il governo l’ha annunciato come “quasi due settimane l’anno”. Il numero viene da un questionario: ognuno ha scelto una fascia, da “meno di 5 minuti” a “più di un’ora”, e la media è calcolata sul punto centrale di ogni fascia. Gruppo di confronto, nessuno. Il rapporto stesso avverte che le cifre sono dichiarate e che non si sa come sia stato usato il tempo risparmiato.
Il Department for Business and Trade, ha fatto un passo in più: un diario di una settimana e alcune prove osservate, con gli stessi compiti svolti da chi aveva Copilot e da colleghi senza licenza, e la qualità valutata alla cieca. Per riassumere un rapporto ci volevano 13 minuti invece di 42. Sull’analisi in Excel chi usava Copilot ci ha messo di più, 25 minuti contro 21, e ha consegnato un lavoro peggiore. Il 72% degli utenti era comunque soddisfatto. La conclusione del dipartimento: nessuna prova che il tempo risparmiato sia diventato produttività. E il 70% delle licenze era andato a volontari, cioè a chi si era fatto avanti per usare lo strumento: un campione già ben disposto verso Copilot.
Le prove osservate erano undici, troppo poche per farne un numero da business case, e il rapporto lo scrive, ma bastano a vedere la distanza fra quello che si dichiara e quello che si misura.
L’occasione: il rollout è già un esperimento
Il materiale più utile su come misurare un rollout viene, curiosamente, da un fornitore. A metà settembre Anthropic, che produce Claude, ha pubblicato una guida per chi dirige le vendite: Building an AI-native revenue organization. Uso Claude ogni giorno, e lo dico perché pesa su come leggo la fonte.
Due indicazioni sono giuste. La prima: niente confronto prima/dopo. Si mettono fianco a fianco i team del pilota e il resto dell’organizzazione nello stesso periodo, perché vendono nello stesso mercato e nella stessa stagione. La seconda: un business case fatto solo di ore ha un tetto, perché il valore si ferma al costo di quelle ore. Il valore vero sta in quello che prima non si faceva: più clienti seguiti, più opportunità a parità di organico.
Il problema è come vengono scelti i team. La guida consiglia di partire con due o tre team “con capi motivati”. È la scelta sensata per far riuscire un pilota, e quella sbagliata per misurarlo: la differenza con gli altri team contiene la motivazione del capo insieme all’effetto dell’AI, e non c’è modo di separarle dopo. È lo stesso errore del retargeting su chi avrebbe comprato comunque. Uno dei tre segnali indicati per passare alla fase successiva peggiora il quadro: i team pilota devono battere gli altri “anche se il divario è ancora piccolo”. Un divario piccolo su tre team può essere rumore.
La correzione sta nella guida stessa, che descrive un rollout a ondate: 25 posti, poi 150, poi tutti. Se l’ordine delle ondate lo estrae un sorteggio invece dell’entusiasmo dei manager, ogni ondata ha un gruppo di controllo gratuito: quelli che non sono ancora entrati.
Il metodo ha già funzionato. Erik Brynjolfsson, Danielle Li e Lindsey Raymond hanno misurato così un assistente AI introdotto a scaglioni fra 5.179 operatori di customer service: +14% di pratiche risolte all’ora, +34% per i meno esperti, quasi niente per i più esperti. Nessuna indagine l’avrebbe trovato: una media dichiarata non dice dove sta il guadagno. C’è anche una differenza rispetto alle licenze di Copilot: lo strumento era dentro il lavoro degli operatori, su un compito preciso, non una licenza in più da imparare a usare.
Dove starei attento
Si contano tutte le licenze. Nello studio Copilot gli effetti per chi usava lo strumento erano il doppio o più di quelli per chi aveva solo la licenza. Il CFO paga tutte le licenze, anche quelle di chi non le apre: il ROI si calcola su tutti gli assegnatari, altrimenti si misura l’effetto sugli entusiasti e lo si proietta su chi non aprirà mai lo strumento.
Troppi fattori esterni? È il motivo del gruppo di controllo. L’obiezione più forte a tutto questo: l’AI entra in cento attività, nelle ore non si vede, e sulle vendite pesano mercato, prezzi e stagione. Vero, ma quei fattori colpiscono allo stesso modo chi ha lo strumento e chi aspetta il turno, e nella differenza resta l’effetto dell’AI. È lo stesso ragionamento di un geo-test sul media. Due accorgimenti lo rendono praticabile: si misura prima dove il segnale è forte, sul compito e sul processo (pratiche chiuse, clienti seguiti per persona), e solo dopo sulle vendite; se non si può sorteggiare la persona, si sorteggiano sedi o team.
I gruppi si contaminano. I team che aspettano il loro turno parlano con quelli che hanno già lo strumento, si passano prompt e abitudini. Con l’AI c’è un caso in più: chi non è nel gruppo di controllo può usare ChatGPT sul telefono. Il divario si comprime e il programma sembra valere meno di quanto vale. È un errore conservativo, ma va detto prima di presentare il numero.
I numeri invecchiano in fretta. METR ha provato gli strumenti di inizio 2025, il governo britannico quelli di fine 2024: i modelli di oggi sono un’altra cosa, e gli stessi test potrebbero dare un altro risultato. Vale però in tutte e due le direzioni. Se uno studio di sei mesi f…
This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit filippotrocca.substack.com
Altri episodi di "dataMesh Podcast"



Non perdere nemmeno un episodio di “dataMesh Podcast”. Iscriviti all'app gratuita GetPodcast.








