dataMesh Podcast podcast

Le ore risparmiate con ChatGPT, Copilot, Gemini e Claude non sono un business case

0:00
10:28
Manda indietro di 15 secondi
Manda avanti di 15 secondi

Microsoft ha dato le licenze di Copilot a caso a circa metà degli oltre 6.000 dipendenti coinvolti in 56 aziende, e per almeno sei mesi ha misurato dalla telemetria le attività svolte. Chi aveva la licenza ha passato 12 minuti in meno a settimana a leggere email e ha chiuso i documenti di Word il 6% più in fretta. Solo il 38% di chi aveva la licenza la usava ogni settimana.

È uno dei pochi numeri sull’AI che vengono da un esperimento con un gruppo di controllo. Quando è possibile fare confronti, i numeri sull’AI si restringono: questo è il filo conduttore di tutto quello che leggerete.

Cosa è cambiato: due misure che non si parlano

Il 30 settembre BCG ha pubblicato l’Applied AI Index 2026: su 1.330 dirigenti, quasi metà delle aziende dichiara di ottenere dall’AI un valore reale. Un anno prima era il 5%.

A ottobre è uscita la revisione di un paper NBER, firmato fra gli altri da Nick Bloom e Steven Davis, con un risultato molto più piccolo. Gli autori hanno intervistato quasi 9.000 CEO, CFO e altri dirigenti in sette paesi. Il 78% delle loro aziende usa l’AI, ma quando si chiede di quanto abbia fatto crescere la produttività del lavoro negli ultimi tre anni, la stima degli stessi dirigenti è dello 0,2% l’anno. Per i prossimi tre se ne aspettano lo 0,6%.

Le due indagini rispondono a domande diverse. La prima chiede se l’AI genera valore, la seconda di quanto è cresciuta la produttività rispetto a prima. Chi lavora nella misurazione riconosce la distanza: è quella fra il ROAS che la piattaforma si attribuisce e l’effetto che resta quando togli quello che sarebbe successo comunque.

Nessuna delle due, però, è una misura: sono entrambe stime dei dirigenti. E quando un’azienda deve decidere se comprare le licenze, la stima da cui parte quasi sempre è un’altra ancora, le ore.

Le ore dichiarate

Quasi tutti i business case dell’AI che vedo, che si tratti di ChatGPT Enterprise, Gemini per Workspace, Copilot o Claude, partono dalle ore: quanti minuti risparmia ogni persona, moltiplicati per il costo orario e per l’organico. Il numero è facile da produrre e si gonfia da solo.

Si gonfia perché i minuti risparmiati li stimano le persone stesse, e anche chi lavora bene li stima male. Nello studio di METR, fatto con gli strumenti di inizio 2025, sviluppatori esperti al lavoro sui propri progetti hanno impiegato il 19% di tempo in più con l’AI. Alla fine erano convinti di aver fatto il 20% più in fretta. Se chi usa lo strumento sbaglia perfino il segno, un business case costruito sulle ore dichiarate parte già sbagliato.

Il caso: 26 minuti al giorno, dichiarati

Lo stesso schema, su scala molto più grande. Fra ottobre e dicembre 2024 il governo britannico ha dato una licenza di Microsoft 365 Copilot a 20.000 dipendenti di dodici amministrazioni. Il rapporto finale, uscito a giugno 2025, dice che ognuno risparmia in media 26 minuti al giorno, e il governo l’ha annunciato come “quasi due settimane l’anno”. Il numero viene da un questionario: ognuno ha scelto una fascia, da “meno di 5 minuti” a “più di un’ora”, e la media è calcolata sul punto centrale di ogni fascia. Gruppo di confronto, nessuno. Il rapporto stesso avverte che le cifre sono dichiarate e che non si sa come sia stato usato il tempo risparmiato.

Il Department for Business and Trade, ha fatto un passo in più: un diario di una settimana e alcune prove osservate, con gli stessi compiti svolti da chi aveva Copilot e da colleghi senza licenza, e la qualità valutata alla cieca. Per riassumere un rapporto ci volevano 13 minuti invece di 42. Sull’analisi in Excel chi usava Copilot ci ha messo di più, 25 minuti contro 21, e ha consegnato un lavoro peggiore. Il 72% degli utenti era comunque soddisfatto. La conclusione del dipartimento: nessuna prova che il tempo risparmiato sia diventato produttività. E il 70% delle licenze era andato a volontari, cioè a chi si era fatto avanti per usare lo strumento: un campione già ben disposto verso Copilot.

Le prove osservate erano undici, troppo poche per farne un numero da business case, e il rapporto lo scrive, ma bastano a vedere la distanza fra quello che si dichiara e quello che si misura.

L’occasione: il rollout è già un esperimento

Il materiale più utile su come misurare un rollout viene, curiosamente, da un fornitore. A metà settembre Anthropic, che produce Claude, ha pubblicato una guida per chi dirige le vendite: Building an AI-native revenue organization. Uso Claude ogni giorno, e lo dico perché pesa su come leggo la fonte.

Due indicazioni sono giuste. La prima: niente confronto prima/dopo. Si mettono fianco a fianco i team del pilota e il resto dell’organizzazione nello stesso periodo, perché vendono nello stesso mercato e nella stessa stagione. La seconda: un business case fatto solo di ore ha un tetto, perché il valore si ferma al costo di quelle ore. Il valore vero sta in quello che prima non si faceva: più clienti seguiti, più opportunità a parità di organico.

Il problema è come vengono scelti i team. La guida consiglia di partire con due o tre team “con capi motivati”. È la scelta sensata per far riuscire un pilota, e quella sbagliata per misurarlo: la differenza con gli altri team contiene la motivazione del capo insieme all’effetto dell’AI, e non c’è modo di separarle dopo. È lo stesso errore del retargeting su chi avrebbe comprato comunque. Uno dei tre segnali indicati per passare alla fase successiva peggiora il quadro: i team pilota devono battere gli altri “anche se il divario è ancora piccolo”. Un divario piccolo su tre team può essere rumore.

La correzione sta nella guida stessa, che descrive un rollout a ondate: 25 posti, poi 150, poi tutti. Se l’ordine delle ondate lo estrae un sorteggio invece dell’entusiasmo dei manager, ogni ondata ha un gruppo di controllo gratuito: quelli che non sono ancora entrati.

Il metodo ha già funzionato. Erik Brynjolfsson, Danielle Li e Lindsey Raymond hanno misurato così un assistente AI introdotto a scaglioni fra 5.179 operatori di customer service: +14% di pratiche risolte all’ora, +34% per i meno esperti, quasi niente per i più esperti. Nessuna indagine l’avrebbe trovato: una media dichiarata non dice dove sta il guadagno. C’è anche una differenza rispetto alle licenze di Copilot: lo strumento era dentro il lavoro degli operatori, su un compito preciso, non una licenza in più da imparare a usare.

Dove starei attento

Si contano tutte le licenze. Nello studio Copilot gli effetti per chi usava lo strumento erano il doppio o più di quelli per chi aveva solo la licenza. Il CFO paga tutte le licenze, anche quelle di chi non le apre: il ROI si calcola su tutti gli assegnatari, altrimenti si misura l’effetto sugli entusiasti e lo si proietta su chi non aprirà mai lo strumento.

Troppi fattori esterni? È il motivo del gruppo di controllo. L’obiezione più forte a tutto questo: l’AI entra in cento attività, nelle ore non si vede, e sulle vendite pesano mercato, prezzi e stagione. Vero, ma quei fattori colpiscono allo stesso modo chi ha lo strumento e chi aspetta il turno, e nella differenza resta l’effetto dell’AI. È lo stesso ragionamento di un geo-test sul media. Due accorgimenti lo rendono praticabile: si misura prima dove il segnale è forte, sul compito e sul processo (pratiche chiuse, clienti seguiti per persona), e solo dopo sulle vendite; se non si può sorteggiare la persona, si sorteggiano sedi o team.

I gruppi si contaminano. I team che aspettano il loro turno parlano con quelli che hanno già lo strumento, si passano prompt e abitudini. Con l’AI c’è un caso in più: chi non è nel gruppo di controllo può usare ChatGPT sul telefono. Il divario si comprime e il programma sembra valere meno di quanto vale. È un errore conservativo, ma va detto prima di presentare il numero.

I numeri invecchiano in fretta. METR ha provato gli strumenti di inizio 2025, il governo britannico quelli di fine 2024: i modelli di oggi sono un’altra cosa, e gli stessi test potrebbero dare un altro risultato. Vale però in tutte e due le direzioni. Se uno studio di sei mesi f…



This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit filippotrocca.substack.com

Altri episodi di "dataMesh Podcast"