Où une IA trouve-t-elle tout ce qu'elle sait ?
Dans cet épisode, vous découvrirez qu'elle a lu l'équivalent de deux cent mille ans de lecture, d'où viennent ces textes, qui les choisit, ce qui se passe quand il n'y en a plus assez, et pourquoi tout cela explique ses forces comme ses angles morts.
Sources :
- Données d'entraînement de Llama 3, Meta : https://ai.meta.com/blog/meta-llama-3/
- Common Crawl, la collecte du web : https://commoncrawl.org/overview
- Epoch AI, « Will we run out of data? », 2024 : https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data
- Phi-1, Microsoft, 2023 : https://arxiv.org/abs/2306.11644
- Shumailov et al., « AI models collapse when trained on recursively generated data », Nature, juillet 2024 : https://www.nature.com/articles/s41586-024-07566-y
- OLMo, un modèle publié avec toutes ses données, Ai2 : https://allenai.org/olmo
- AI Act, article 53, l'obligation de publier un résumé des données d'entraînement : https://artificialintelligenceact.eu/article/53/
D'autres épisodes de "MégaOctets"
Ne ratez aucun épisode de “MégaOctets” et abonnez-vous gratuitement à ce podcast dans l'application GetPodcast.
