BitNet b1.58 : L’open source qui compresse les LLMs sans perte

Et si les IA posaient de meilleurs diagnostics que les médecins ? Dans cet épisode, Léa et Alex décryptent le papier Sequential Diagnosis with Language Models de Microsoft AI. Un benchmark inédit, un panel virtuel de docteurs IA, et une promesse : allier précision médicale et coût maîtrisé. Spoiler : l’IA joue collectif... et ça change tout.

Pourquoi les modèles comme GPT semblent toujours se souvenir du début d’un texte… et oublier le milieu ? Dans cet épisode, Alex et Léa décryptent un papier qui révèle un biais structurel dans les transformers : l’architecture elle-même pousse l’attention vers les premières positions. Grâce à une approche en graphe, les chercheurs prouvent que même sans entraînement, les modèles sont déjà orientés vers le passé.On explore pourquoi ça pose problème, comment atténuer ce biais, et ce que ça veut dire pour les produits qui manipulent de longs textes.Un épisode synthétique, sans vous laisser au milieu du gué 😉

Et si un modèle IA pouvait diviser la latence et la mémoire par 4… sans perdre en performance ? Dans cet épisode, Léa et Alex décryptent BitNet b1.58, le LLM ultra-efficace de Microsoft désormais open source. Une révolution discrète mais stratégique pour l’inférence locale et les devices edge.

Dans cet épisode, Léa et Alex explorent AI Scientist-v2, une IA qui génère des hypothèses, teste, analyse et… publie. Sans humain. Une révolution dans la recherche ?

Les IA raisonnent elles vraiment ?Dans cet épisode, Alex et Léa décryptent le papier d’Apple Research "The Illusion of Thinking", qui remet en question les capacités de raisonnement des modèles récents.En testant des IA sur des puzzles logiques à difficulté croissante, les chercheurs montrent un paradoxe surprenant.C’est ce que nos deux IA maison vont vous résumer, avec humour et rigueur.IA Décryptée : la veille IA, pendant que vous faites autre chose.