Servire AI: inferenza, router semantici e SLM. #82

Marco e Cesare chiacchierano dello Zen of Python e dell'algoritmo Timsort dopo la recente scomparsa di Tim Peters

Raccontiamo cos'è il bus factor ispirati da un video della pagina LinkedIn "RAL commisurata all'esperienza". Vi è mai capitato di incappare in un progetto o servizio gestito in azienda solo da una persona e che questa persona fosse l'unica in grado di operarvi?

Stefano Iasi, Head of Engineering di TrueLayer, racconta come il suo team è riuscito a portare il debito tecnico in roadmap: reliability, product debt e misurazione per decidere le priorità, con una cultura no-blame e review mensili per analizzare cosa va storto.Qui l'articolo menzionato nella puntata: https://incident.io/customers/truelayerstory

Gran dibattito tra Marco e Cesare sulla lettura di libri. Perché uno preferisce la carta e l'altro no?

Alessandro Capezzuoli, data scientist all’ISTAT e autore di romanzi e saggi, racconta il passaggio dallo scraping e dal machine learning in Python al lavoro sul mercato del lavoro e sulla tassonomia ufficiale delle professioni. Si parla anche di un MCP istituzionale delle professioni, di LLM e sistemi di ricerca e codifica. Nell'ultima parte della puntata scopriamo invece la passione di Alessandro per la scrittura di romanzi e saggi.https://www.alessandrocapezzuoli.it/articoli-e-pubblicazioni/

Autenticazione, token, autorizzazione: "API Security in Action" di Neil Madden mette in fila temi che sul lavoro si incontrano sempre in modo frammentato. Ne parliamo davanti al caffè, con un occhio a quanto contano le scelte consapevoli quando l'AI scrive il codice ma le decisioni restano nostre.

Con Adriano Sanges, Head of Data di Didomi, si parla di stack dati costruito attorno a Python: DuckDB invece di Spark, dlt invece di Fivetran e il momento in cui serve davvero una piattaforma enterprise. Adriano ci racconta anche i suoi side-project: casaninja.it e dataskew.io

Cesare ha sperimentato su un suo progettino. Ha confrontato Pi e OpenCode per valutare la loro efficacia se usati in locale piuttosto che in un container isolato. Ha integrato entrambi con Qwen 27B su Ollama in locale. Scopriamo i risultati!Pi: https://pi.dev/OpenCode: https://opencode.ai/Scrummolo: https://github.com/keobox/scrummolo/blob/local-ai-assisted/README.md

Marco racconta "Starbucks Does Not Use Two-Phase Commit" un articolo di Gregor Hohpe che fa una simpatica analogia. Il funzionamento di una caffetteria Starbucks ricorda la gestione di una transazione asincrona in un sistema distribuito. E come sarebbe se invece fosse atomica con un two-phase commit? Scopriamolo!Link qui: https://www.enterpriseintegrationpatterns.com/ramblings/18_starbucks.html

Eugenio Petullà, Chief AI Alchemist di Regolo.ai (provider di inferenza EU-based del gruppo Seeweb/DHH), racconta cosa significa davvero servire modelli su larga scala — dall'architettura di inferenza (K8S, vLLM, proxy, gestione utenti) alle sfide di sovranità tecnologica europea. Si parla anche di Small Language Models, router semantici e paper di ricerca su valutazione empirica e capacità dei modelli.Riferimenti:CLEVER (Clinical LLM Evaluation Expert Review): https://pubmed.ncbi.nlm.nih.gov/41343765/BRICK (spatial capability routing): https://arxiv.org/abs/2606.13241