#072 ML Татьяна Шаврина. Бенчмарки для LLM или как оценивать большие языковые модели?

В гостях Максим Шапошников - инженер и исследователь в области искусственного интеллекта. Последние три года работает Applied Scientist-ом в одной из FAANG-компаний, занимается обучением мультимодальных LLM. Кто такие агенты? При чём здесь Уилл Смитт? Что могут агенты и чего они не могут? Что такое умные конвейеры? Что делать, если LLM зациклило? Кто будет разгребать тонны вайбокода? Почему не только людям проще написать код с нуля, чем поддерживать уже написанный? Кто такие мыслящие агенты? Каким должен быть браузер для агента? Когда всё же агенты начнут заменять людей? Если агенту дать полную свободу действий, не случится ли Скайнет? Почему даже антропик запускает своих агентов в докере на виртуальных машинах? Как завести себе несколько личных полезных агентов? Почему тебе не нужны крутые фреймворки для написания агентов, если ты программист? Обо всём этом в выпуске!Ссылки выпуска:Телеграм-канал Максима (https://t.me/max_dot_sh)LinkedIn Максима (https://www.linkedin.com/in/maxshapp/)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Обо мне (https://t.me/toBeAnMLspecialist/935)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов и вообще вести проекты на Python!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_73).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях сегодня Татьяна Шаврина, старший научный сотрудник Института Языкознания РАН. Обсуждаем бенчмарки - стандартизированные наборы тестов, метрик и протоколов оценки, предназначенные для объективного измерения производительности больших языковых моделей. Что произошло в индустрии за последние 4 года с момента записи предыдущего выпуска? Все ли проявления естественного интеллекта можно наблюдать у искусственного? Как автоматизировать науку? Как и для чего автоматически проверять новые архитектуры сетей на разных доменах? Скоро ли агентные системы начнут выигрывать у людей kaggle-соревнования? Как ИИ-учёные ддосят учёных-людей? Зачем большим языковым моделям сдавать выпускные экзамены на бакалавра? Как не допустить того, чтобы разработчики бенчмарков и больших моделей договорились? Какие проблемы существуют у современных решений? Почему к OpenAI всегда так много претензий? Кто и как придумывает бенчмарки? Придумали ли бенчмарк для определения, что AGI уже здесь? Если заработал сто миллиардов долларов, то уже AGI? Где взять бенчмарки, если ты не OpenAI? Почему высокие метрики на бенчмарках могут не являться решающим фактором при выборе модели под свою задачу? Обо всём этом и многом другом в выпуске!Ссылки выпуска:Телеграм-канал Татьяны (https://t.me/rybolos_channel)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Обо мне (https://t.me/toBeAnMLspecialist/935)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов и вообще вести проекты на Python!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_72).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Ещё год назад собирались записаться с Тимуром Гуевым (автором самого популярного и, на мой взгляд, самого лучшего курса по Python на русском языке) на тему необходимости математики для современного программиста. Но тогда почему-то не получилось, зато получилось теперь и мы пообщались не только про математику, но и про алгоритмы. Почему если хочется хороших и быстрых денег, то это не про программирование? Бывают ли ненужные знания? Спрашивают ли на собесах про функцию Аккермана? Нужны ли компаниям олимпиадники? Система образования устарела? Нужно ли вместо математики в ВУЗах больше практических дисциплин и проектной работы? Как соревноваться с ChatGPT в решении задач? Смотрят ли работодатели на скор на литкоде? Спасут ли хорошие алгоритмы плохой продукт? Чем плоха преждевременная оптимизация? Обо всём этом и многом другом в выпуске!Ссылки выпуска:Все курсы от Поколения Python (https://www.pygen.ru/)Телеграм-канал Тимура и его команды (https://t.me/pygen_ru)Статьи Тимура на Хабре (https://habr.com/ru/users/tguev/articles/)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Обо мне (https://t.me/toBeAnMLspecialist/935)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_71).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Продолжаем разговор с Александром Резановым про генеративный искусственный интеллект. Александр - ML Engineer, специализирующийся на генеративном компьютерном зрении и сегодня поговорим про видео. Что проще генерировать, картинки или текст? Может ли беговая дорожка обыграть в шахматы чемпиона мира? Почему все модели неверны? Как машины могут ехать, если колёса крутятся в разные стороны? Как померить "волтность" модели и что это вообще такое? Зачем изучать старые архитектуры нейросетей, если сейчас миром правят трансформеры? Как задача генерации видео делает модели умнее? Как индустрия для взрослых в очередной раз двигает прогресс? Когда модели будут генерировать полноценные фильмы? Обо всём этом в выпуске!Ссылки выпуска:Статья про VizDoom (https://worldmodels.github.io)Genie 2 от Deepmind (https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/)Muse от Microsoft, появилось в феврале 2025 на ту же тему (https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Обо мне (https://t.me/toBeAnMLspecialist/935)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_70).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Встречайте специальный выпуск нового сезона со специальным гостем - Николаем Додоновым. Николай профессиональный психолог, член ассоциации когнитивно-поведенческой психологии, автор популярных книг по психологии, привычкам и эффективности управления делами. В подкасте мы поговорим о том как страхи могут управлять нами и мешать в достижении целей. В том числе финансовых. Обсудим почему одинаковый уровень хард-скиллов не гарантирует одинаковый уровень дохода. Откуда берутся страхи и всегда ли они оправданы. Что такое модель отношений и как она влияет на принятие нами решений. Почему нам может быть тревожно, когда всё хорошо. Как мы сами себе создаём проблемы с заработком. Как разрубить классический гордиев узел отсутствия опыта для работы, без которого не получить работу для опыта. Почему важно не просто писать код, решающий конкретную задачу, но и понимать, как решение этой задачи влияет на общую систему, в целом. Почему мы часто всё понимаем, но ничего не делаем. Почему кажется, что знаний всегда недостаточно. Почему сравнивать себя с другими и даже с самим собой - это не самый эффективный путь понять свою ценность. Поехали!Ссылки выпуска:Телеграм-канал Николая (https://t.me/n_dodonov)Новая книга Николая "Майндхакинг. Как мозг принимает решения и заставляет нас действовать в режиме НЕ-ТВОЯ-ЖИЗНЬ" (https://www.labirint.ru/books/918435/)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_69).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях Дмитрий Берестнев - Chief Data Scientist/Head of ML музыкального сервиса Zvuk.com. Будем разговаривать про музыкальные рекомендации и немного затронем генерацию музыкальных треков. Как понять, что хочет пользователь, если он и сам не знает чего хочет? Как отличить негативный локальный фидбэк от негативного глобального? Какие признаки можно извлечь из музыкальных произведений? Надо ли распознавать тексты песен и что такое смысловой вектор? Как сверточные нейронные сети, которые работают с изображениями, применяют к музыке? Для чего заваривают плейлисты? Существует ли сезонность пользователя? Что произошло такого, что низкокачественный jukebox превратился в достойный suno? Можно ли генерировать музыку на лету, на основании предпочтений пользователей? Когда мы будем слушать полноценные новые альбомы от ушедших исполнителей? Как послушать сказку голосом любого персонажа? Обо всём этом в выпуске!Ссылки выпуска:Курс по обработке звука на huggingface (https://huggingface.co/learn/audio-course/ru/chapter0/introduction)Курс по рекомендательным системам (https://ods.ai/tracks/mts-recsys-df2020) и его продолжение (https://ods.ai/tracks/recsys-course2021?ysclid=m60q0k5fnh456599369)Соревнования по рекомендательным системам:https://www.kaggle.com/competitions/otto-recommender-system/overviewhttps://www.kaggle.com/competitions/h-and-m-personalized-fashion-recommendationshttps://www.recsyschallenge.com/2023/Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_68).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях выпуска Сергей Николенко - доктор физико-математических наук, старший научный сотрудник ПОМИ РАН, доцент ФМКН СПбГУ, Head of AI компании Synthesis AI, исследователь в области машинного обучения, в частности глубокого обучения, теоретической информатики и анализа алгоритмов, автор более 200 публикаций в этих и других областях информатики и математики, автор нескольких книг, в том числе бестселлера "Глубокое обучение" (Питер, 2018) и монографии "Synthetic Data for Deep Learning" (Springer, 2021). Почему математики в машинном обучении много, а машинное обучение в математике приходится искать? Могут ли программы перебирать другие программы для решения задач перебором? Почему до сих пор не автоматизировали поиск решений для задач тысячелетия? Решают ли большие языковые модели олимпиадные задачи по математике лучше олимпийцев? Как победить LLM на математической олимпиаде, подсунув ей задачи по геометрии? Можно ли автоматизировать учёного? Что лучшие математики современности думают о модели o1? Могут ли нейросети выводить физические законы? Как понять, что AGI уже здесь? А что делать, если уже здесь? Как написать системный промпт к очередной LLM так, чтобы она не захотела уничтожить человечество? На кого учиться, если кругом все делают роботы? Обо всем этом в выпуске!Ссылки выпуска:Страница Сергея, список публикаций и google scholar:https://logic.pdmi.ras.ru/~sergey/https://logic.pdmi.ras.ru/~sergey/papers.htmlhttps://scholar.google.com/citations?user=_lk95cEAAAAJКурс по машинному обучению 2023-2024 (сейчас последний семестр): https://logic.pdmi.ras.ru/~sergey/teaching/mlspsu2023.htmlКурс по машинному обучению 2024-2025 (сейчас первый семестр): https://logic.pdmi.ras.ru/~sergey/teaching/mlspsu2024.htmlЗаписи семинара, на котором мы с Сергеем познакомились:Мечтаем ли мы об AGI (https://www.youtube.com/watch?v=6E8JUchlKSg)Что происходит в AI сегодня (https://www.youtube.com/watch?v=FGNphH7nw9w)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_67).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях Лекс Кравецкий - популяризатор науки в области математики и Computer Science, исследователь искусственного интеллекта и его влияния на общество. Выпуск у нас сегодня больше философский, чем технологический, потому что иногда стоит делать остановки и рефлексировать по поводу места человека среди технологий. Можно ли сказать, что искусственный интеллект человеческого уровня достигнут? А что если нейросети "чувствуют"? Какого цвета стоп-кран в самолете? Можно ли приготовить свиные крылышки по рецепту, написанному ChatGPT? Как построить коллегию искусственных интеллектов, принимающих решение путем дебатов и голосования? Как научить нейросеть ругаться матом? Будет ли ИИ конкурировать с человеком за ресурсы и чем нам это грозит? Захочет ли ИИ нас уничтожить или решит, что сотрудничать выгоднее? Почему мы до сих пор не доверяем беспилотным транспортным средствам, хотя статистика требует уже давно начать доверять? Как тестировать свои идеи с помощью ИИ? Надо ли становиться архитектором промптов? Куда деться человеку от нашествия роботов? Возможны ли фейковые профессии? Как начать получать удовольствие от процесса с помощью фармакологии? Обо всем этом в выпуске!Ссылки выпуска:YouTube-канал Лекса (https://www.youtube.com/@KravetskiLex)Плейлист про ИИ (https://www.youtube.com/playlist?list=PLkitAWWhaFc6RIf11hLDJpBbbtMWXPRbd)Мысли Лекса в ЖЖ (https://lex-kravetski.livejournal.com/)Телеграм-канал Лекса (https://t.me/lexkravetski)Буду благодарен за обратную связь!Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_66).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Сегодня в гостях сразу 3 гостя - это авторы и преподаватели курса "Нейронные сети и их применение в научных исследованиях" в МГУ им. В.М. Ломоносова - Виктор Немченко, Сергей Колпинский и Артём Васильев. Ребята участвуют в крутейшей, на мой взгляд, инициативе - созданию учебных материалов по ML и преподаванию машинного обучения студентам, аспирантам и научным сотрудникам, чтобы помогать им внедрять методы ML в свои научные исследования. А говорим мы о том как и зачем вообще родилась такая инициатива, почему сейчас сложно представить учёного, который не пользуется методами машинного обучения, почему все материалы курса в открытом доступе для всех желающих. Также обсуждаем умер или продолжает жить и развиваться научпоп, заменит ли ИИ учёных в ближайшее время, где взять мотивацию на изучение нового и как среди этого "нового" не потеряться, почему учёные не ищут легких путей и что за датасеты на салфетках, нужен ли ML юристам, как посчитать сколько съели голодные жуки, как читать научные статьи, если ничего непонятно, почему Нобелевскую премию за машинное обучение дали по физике и почему важно считать протеины. Интересного и полезного прослушивания!Ссылки выпуска:Сайт msu.ai, где есть вся информация о курсе.YouTube канал с видеоматериалами (https://youtube.com/@msu_ai).Резервная площадка с видеоматериалами (https://rutube.ru/channel/41484206/)Телеграм-канал с новостями курса и полезными сслыками по теме (https://t.me/msu_ai_channel).Репозиторий с материалами лекций (https://github.com/EPC-MSU/EduNet-lectures/tree/dev-2.2).Ссылки на кейсы, о которых шла речь, есть в телеграм-канале, потому что здесь уже не помещается (https://t.me/toBeAnMLspecialist/903).Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_65).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях этого выпуска Екатерина Кондратьева — специалист по анализу медицинских изображений с более чем 7-летним опытом. Екатерина закончила аспирантуру в Сколтехе и работала в Институте AIRI. Последние два года она возглавляла команду по машинному зрению в израильском healthech стартапе LiteBC. В этом выпуске Екатерина расскажет о текущем состоянии Medical GPT, где применяются модели для медицинских задач и как они трансформируют анализ данных в здравоохранении. Какие вызовы стоят перед командами разработчиков медицинских AI-моделей? Что можно сделать, имея свои данные на руках? Легко ли стать радиологом? Будут ли у нас MedChatGPT? Заменят ли ML-модели врачей? Как диффузионные модели генерируют снимки с болезнями для обучения других моделей? Что вообще сейчас с телемедициной? Как стать тимлидом в зарубежной компании сразу после универа? Почему лето, не потраченное на стажировку - это лето, потраченное впустую? Как выбрать карьерный трек по МЛ в медицине (индустрия или наука)? Обо всем этом и многом другом в новом выпуске!Ссылки выпуска:Канал Екатерины про науку и данные мозга (https://t.me/i_am_boiled)Выступление Екатерины на Яндекс PMLConf2024 и полезные странички из выпуска (https://insidekatesbrain.ru/)Подкаст об информационной безопасности "Смени пароль" (https://pc.st/1570896327)Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_64).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)