[I'ML] Мультимодальные модели

Две конференции, связанные с ML, встречаются в совместном выпуске подкастов PiterPy и IML — уже на всех площадках!Когда два DS-а садятся обсуждать современный ИИ, разговор может пойти по любому сценарию. На этот раз мы держали себя в рамках — говорили про современный ИИ и его влияние на разработку. Затронули ассистентов, бенчмарки и модных ныне агентов. Чувствуют ли разработчики эффект зловещей долины при работе с ними?..Темы выпуска:— При каких условиях ассистенты могут помочь или навредить разработке.— Агенты LLM. В очередной раз мы разобрались, что это такое.— Можно ли доверять бенчмаркам.— Где баланс между производительностью и стоимостью железа.Гости выпуска:Валентин Малых — NLP-инженер в MTS AI.Андрей Кузнецов — Head of ML в Positive Technologies.Ведущий:Андрей Дмитриев — программист, директор по производству в JUG Ru Group.Подробнее об IML:Сайт — https://jrg.su/v4xZgXTelegram-канал — https://jrg.su/mKbB4xПодробнее о РiterPy:Сайт — https://jrg.su/9XLCWtTelegram-канал — https://jrg.su/GNkGFrПодкаст на других площадках:— YouTube — https://jrg.su/ePZwtW— VK Видео — https://jrg.su/6HuDYt— ВКонтакте — https://jrg.su/637DPv

Жизнь ML-специалиста — это постоянное исследование. Какие статьи и новости читать, чтобы не отстать от трендов? Разбираемся вместе с редакторами тематических Telegram-каналов.Выпуск посвящен трем главным группам трендов.Продукты, которые меняют мир: мультимодальные модели в разных доменах, общение ИИ с человеком и виртуальные друзья. Разберемся, куда двигаются большие корпорации и стартапы.Исследовательские тренды: робототехника и LLM, ML в биотехе и медицине, железо для AI, интерпретируемость и alignment моделей.ML и мир вокруг: политическая и этическая регуляция, виртуальные фотомодели, централизация в разработке AI, локализация и «AI для всех».Также в подкасте — о том, как устроена жизнь и работа редактора новостного канала.Гости выпуска:Влада Пухкало — co-founder XOR media, главный редактор канала Data Secrets (t.me/data_secrets), магистр ИТМО AI Talent Hub.Иван Кущенко — founder XOR media, главный редактор канала XOR (t.me/xor_journal).Ведущий:Андрей Дмитриев — программист, директор по производству в JUG Ru Group.______________Ссылки на обсуждаемые новости, полезные и интересные материалы:— https://futuretodayinstitute.com/trends/ — https://community.intel.com/t5/Blogs/Tech-Innovation/Artificial-Intelligence-AI/AI-in-Focus-Intel-Liftoff-s-2024-Trend-Analysis-and-Predictions/post/1570094 — https://www.dhs.gov/news/2024/04/26/over-20-technology-and-critical-infrastructure-executives-civil-rights-leaders — https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html?smid=nytcore-ios-share&sgrp=c-cb — https://datasecrets.ru/news/8 — https://nvidianews.nvidia.com/news/nvidia-blackwell-platform-arrives-to-power-a-new-era-of-computing— https://www.reuters.com/technology/ai-chip-demand-forces-huawei-slow-smartphone-production-sources-2024-02-05/ — https://www.wired.com/story/openai-buy-ai-chips-startup-sam-altman/ ____________Подписывайтесь на наши соцсети, чтобы не пропустить следующие выпуски и новости предстоящей конференции.— VK: https://vk.com/imlconf— Telegram-чат: https://t.me/iml_chat — Telegram-канал: https://t.me/iml_conf Сайт I’ML: https://imlconf.com/ 

Общаемся про CV и не только с директором ML-департамента MTS AI Даниилом Киреевым.В выпуске говорим про:— Задачи, которые решает CV — на примере детекции драк на фото и видео.— Эксперименты и работу с датасетами.— Набор моделей, которые должен знать CV-инженер.— Мысленный эксперимент с пет-проектом вселенского масштаба и его запуск на мобильном девайсе.— Жизнь CV-инженера — от простого сотрудника до руководителя команды и директора, влияющего на бизнес.— Успешный старт с новым продуктом и определение задач бизнеса.Ведущий: Дмитрий Савостьянов — создатель генератора Artifactory.ai и голосового помощника для геймеров GOSU.AI.

Как ML и DS помогают строить финансовое будущее людям и крупным банкам? Выясняем в выпуске про автоматизированное машинное обучение.Обсуждаем области применения AutoML в банках: персональные ассистенты, CV, документооборот, скоринги и боты для торговли на биржах. Рассматриваем Python-библиотеки для факторного анализа, LAMA и других задач, в которых хорош AutoML.Гость выпуска:Андрей Сухань — CDO. Больше 10 лет использует цифры, чтобы искать неочевидное и объяснять происходящее в бизнесе простыми словамиВедущий:Александр Толмачев — директор по машинному обучению и анализу данных в Ozon Fintech.

Как ML используют в доставке? Рассказывает Антонина Горячева из СберМаркета — Head of ML по жизни и ML-инженер в душе.В этом выпуске:— Специфика ML в логистике: какие данные собирают и что предсказывают, как создают алгоритмы для разных доставок – плановой, быстрой и в периоды повышенного спроса.— Где тестируют алгоритмы: платформа экспериментов и фокус-группы.— Реальные бизнес-процессы: взаимодействие с клиентами, итеративность, метрики и прогнозы заказов для найма курьеров.— Немного инсайдов из UX, маркетинга и полевой работы.Ведущая выпуска: Елизавета Пушкарева — участница Программного комитета I’ML, победитель хакатонов, Data Scientist в Точке и стартапер в одном флаконе.

Разбираемся, что такое ML System Design Document — когда его внедрять, кто этим должен заниматься, и что вообще подразумевается под System Design для ML-специфики.В этом выпуске — шаблон и структура ML System Design Document, его отличие от требований BRQ и SRS, а также кейсы внедрения — успешные и не очень.Гости выпуска:— Дмитрий Колодезев — инженер, консультант и предприниматель. Автор курса по ML System Design, соведущий канала ReliableML, главный по датазавтракам в Новосибирске.— Ирина Голощапова — CDO Operations в Raiffeisenbank. Соведущая сообщества Reliable ML. PhD.Ведущий: Александр Толмачев — директор по машинному обучению и анализу данных в Ozon Fintech.

Вы обучили модель, а как объяснить ее профиты бизнесу? Об этом — в пятом выпуске подкаста I'ML. Разбираем нюансы NLP-метрик, их неочевидную связь с бизнес-метриками.Смотрим на кейсы из практики оценки качества моделей, работающих с естественным языком: диалоговые системы, суммаризацию и машинный перевод.Говорим про метрики для работы с кодогенерацией. Как оценить влияние Copilot на бизнес и жизнь разработчика. Поднимаем и философские вопросы — про доверие профессионалам и роль людей в создании новых метрик.Гость выпуска: Валентин Малых — NLP-инженер с 10-летним опытом. Руководитель направления NLP-исследований в MTS AI.Ведущий: Павел Филонов — независимый эксперт в областях C++, ML и Data Science.

Продолжаем говорить о доставке моделей в прод. На этот раз — о задачах, с которыми сталкивается компания на всех этапах.Начинаем с данных, которые собирают Data Science-специалисты, продолжаем обучением моделей и заканчиваем пайплайнами для вывода в прод.В выпуске обсуждаем:— с чего начать изменения;— работу с датасетами, на которых учится модель;— окружение — от хранилищ данных до пайплайнов;— проверку экспериментов и доставку моделей в прод;— инструменты и тесты моделей.Гости выпуска:— Андрей Качетов — руководитель группы разработки сервисов и продуктов в Data Science и ML. Помогает находить в данных новую ценность для бизнеса и для людей.— Иван Шмаков — ML-инженер. Начал катить модели в прод, когда VGG-16 была топовой.Ведущие:— Александр Толмачев — руководит аналитикой, хранилищем и моделированием в Ozon.— Максим Стаценко — руководитель службы подготовки и анализа больших данных в Яндексе.Подписывайтесь на наши соцсети, чтобы не пропустить следующие выпуски и новости предстоящей конференции.— VK: https://vk.com/imlconf— Telegram-чат: https://t.me/iml_chat— Telegram-канал: https://t.me/iml_confСайт I’ML: https://imlconf.com/

Не каждый инженер согласится строить ML-инфраструктуру и проводить непредсказуемые эксперименты. Но кто-то должен этим заниматься. Говорим об ML-инженерах, которые выбирают путь работы с инфраструктурой, и выясняем, как сделать эту работу качественнее.В этом выпуске обсуждаем:— как выводить модели в прод быстро;— что должен понимать руководитель команды, которая занимается ML-инфраструктурой;— как взаимодействовать с разработчиками и передавать наработки команде инженеров.Не забыли и техническую конкретику: Data-платформу как фундамент ML-инфраструктуры и работу с потоками данных.Ведущий выпуска — Андрей Кузнецов, Андрей Кузнецов, директор по машинному обучению «Одноклассников».Полезные ссылки:— Статья от Google «MLOps: Continuous delivery and automation pipelines in machine learning»: https://cutt.ly/0wKw50Xl— Книга Мартина Клеппмана «Высоконагруженные приложения. Программирование, масштабирование, поддержка»: https://cutt.ly/GwKw6shl— Доклад Михаила Марюфича «CI/CD для Ml-моделей и датасетов»: https://cutt.ly/swKw6EP8Подписывайтесь на наши соцсети, чтобы не пропустить следующие выпуски и новости предстоящей конференции.— VK: https://vk.com/imlconf— Telegram-чат: https://t.me/iml_chat— Telegram-канал: https://t.me/iml_confСайт I’ML: https://imlconf.com/

В этом выпуске говорим про мультимодальные модели: как они появились; на каких данных обучаются сейчас и будут обучаться в недалеком будущем; чем они похожи на нейронные сети внутри человека; к какой структуре придут мультимодальные модели.Гость выпуска — Александр Крайнов, директор по развитию технологий искусственного интеллекта Яндекса.Ведущий — Павел Филонов, независимый эксперт в областях C++, ML и Data Science.