#055 ML Илья Гусев. Как запускать большие языковые модели локально

В гостях этого выпуска Екатерина Кондратьева — специалист по анализу медицинских изображений с более чем 7-летним опытом. Екатерина закончила аспирантуру в Сколтехе и работала в Институте AIRI. Последние два года она возглавляла команду по машинному зрению в израильском healthech стартапе LiteBC. В этом выпуске Екатерина расскажет о текущем состоянии Medical GPT, где применяются модели для медицинских задач и как они трансформируют анализ данных в здравоохранении. Какие вызовы стоят перед командами разработчиков медицинских AI-моделей? Что можно сделать, имея свои данные на руках? Легко ли стать радиологом? Будут ли у нас MedChatGPT? Заменят ли ML-модели врачей? Как диффузионные модели генерируют снимки с болезнями для обучения других моделей? Что вообще сейчас с телемедициной? Как стать тимлидом в зарубежной компании сразу после универа? Почему лето, не потраченное на стажировку - это лето, потраченное впустую? Как выбрать карьерный трек по МЛ в медицине (индустрия или наука)? Обо всем этом и многом другом в новом выпуске!Ссылки выпуска:Канал Екатерины про науку и данные мозга (https://t.me/i_am_boiled)Выступление Екатерины на Яндекс PMLConf2024 и полезные странички из выпуска (https://insidekatesbrain.ru/)Подкаст об информационной безопасности "Смени пароль" (https://pc.st/1570896327)Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_64).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях выпуска Виталий Кулиев - разработчик ИИ-проектов и автор YouTube-канала, который так и называется "Виталий Кулиев". С Виталием сначала я познакомился заочно через просмотр его роликов по ML и компьютерному железу, которое требуется для локального запуска опенсорсных моделей машинного обучения, а теперь и лично. Разговариваем о том, какие есть возможности у разработчиков и экспериментаторов ИИ нашего времени для работы на своих компьютерах. 3090, 3090 ti или 4090? Какие LLM можно запустить локально? В какие ограничения упираются локальные эксперименты с большими моделями? Можно ли и имеет ли смысл строить распределенную систему обучения больших моделей, по примеру распределенного майнинга криптовалют? Почему две видеокарты лучше, чем три? Обо всем этом в выпуске!Ссылки выпуска:YouTube канал Виталия (https://www.youtube.com/@kuliev.vitaly)Телеграм-канал Виталия (https://t.me/vitaly_kuliev_it)GPU сервера компании immers cloud. По реферальной ссылке доступен бонус 20% к первому пополнению (https://immers.cloud/signup/r/20240522-6407208-835/) Альфа версия проекта Виталия для доступа к нейросетям по API (https://rus-gpt.com/)Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_63).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях выпуска Александр Резанов - ML Engineer в Higgsfield AI, специалист по генеративному компьютерному зрению, о котором мы и будем говорить. Как развивалась область генеративного AI, какие подходы к генерации картинок применялись тогда и какие применяются сейчас. Нормализующие потоки, состязательные сети и диффузионные модели. Что с генерацией видео? Можно ли уже сейчас генерировать качественные видеоролики по текстовому описанию? Имеет ли смысл тягаться с корпорациями, вваливающими миллиарды долларов в вычислительные мощности, если у тебя одна не самая мощная видеокарточка? Где происходит все самое интересное по теме для обычного пользователя? Как учатся GAN'ы и как из шума получать фотореалистичные изображения? Reddit как источник идей и вдохновения для современных исследователей. Обо всем этом, и даже немного про сверхпроводимость в условиях комнатных температур, в выпуске!Ссылки выпуска:Статья на arxiv про вариационные автоэнкодеры (https://arxiv.org/abs/1312.6114)Статья на arxiv про генеративно-состязательные сети (https://arxiv.org/abs/1406.2661)Сайт с фотографиями несуществующих людей (https://thispersondoesnotexist.com/)Статья на arxiv про Latent Diffusion Model (https://arxiv.org/abs/2112.10752)OpenSource интерфейсы для диффузионных сетей:1. AUTOMATIC1111 (https://github.com/AUTOMATIC1111/stable-diffusion-webui)2. ComfyUI (https://github.com/comfyanonymous/ComfyUI)Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_62).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Общаемся с Александром (Алероном) Миленькиным - ML лидером в Dodo Brands, IT-предпринимателем, Kaggle-экспертом, преподавателем. Обсуждаем то, как можно использовать современные ИИ-технологии, чтобы иметь конкурентное преимущество. Почему лучше строить ML вокруг бизнеса, а не бизнес вокруг ML. Нужны ли в современных реалиях свои большие ML-модели или достаточно пользоваться сторонними сервисами с внешним API. Что такое и как устроены RAG-системы. Кто такие агенты и как заставить их работать на себя. Можно ли подкупить языковые модели, чтобы они выдавали полезную для тебя информацию. Почему надо качать насмотренность и как это может помочь находить лучшие бизнес-идеи. Почему даже только знание о том, что существует ChatGPT может быть тем самым конкурентным преимуществом. Долго ли ждать нашествия тьюторов в виртуальной реальности. Когда уже, наконец, языковые модели заменят программистов. Обо всем этом в выпуске!Ссылки выпуска:Телеграм-канал Александра Data Feeling (https://t.me/datafeeling)Телеграм-бот на базе AI для изучения английского Speakadora AI (https://t.me/Speakadora_bot)Курс Александра "Введение в соревновательный Data Science" (https://stepik.org/a/108888)Буду благодарен за обратную связь!Мой телеграм для связи (https://t.me/kmsint)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_61).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях выпуска Егор Самосват - руководитель юнита эффективности монетизации Авито. Разговариваем о том, что такое монетизация и как машинное обучение позволяет находить оптимальный баланс между "заработать побольше" и "принести пользу". Почему долгосрочные стратегии выгоднее. Почему бесплатно - далеко не всегда хорошо. Что такое теория аукционов и при чем здесь Англия. Как искусственный интеллект определяет какому объявлению быть в топе. Как сейчас устроена контекстная реклама. Почему даже хорошие модели иногда ошибаются. Как определить недобросовестных участников сделок. А также почему здоровая жадность может приносить пользу всем игрокам. Обо всем этом в выпуске!Ссылки выпуска:1. Practical ML Conf - конференция по машинному обучению для опытных ML-специалистов. На мероприятии ведущие инженеры поделятся своими знаниями о практическом применении ML. Если вы хотите стать слушателем, оставляйте заявку на сайте. Участвовать в конференции можно очно в Москве или онлайн из любой точки мира.2. Лекции по Алгоритмической теории игр (https://www.youtube.com/playlist?list=PLEGCF-WLh2RJBqmxvZ0_ie-mleCFhi2N4)3. Доклады по монетизации на Авито (https://youtu.be/0eYjmKyqyjk?t=6670)Буду благодарен за обратную связь!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy). Условия участия (https://t.me/toBeAnMLspecialist/750)Мой телеграм для связи (https://t.me/kmsint)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!Также в соавторстве с крутыми разработчиками я пишу курс по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_60).Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)Реклама. ООО "Яндекс"; ИНН 7736207543, Erid: 2VSb5ymiNq6

В гостях Лаида Кушнарева - Старший Академический Консультант, Huawei, которую в мире Data Science больше знают как Техножрицу. Общаемся про то, как обстоят дела в мире исследований вокруг машинного обучения. Как поменять математику на программирование, но продолжить заниматься математикой. Почему вычисления квадратного корня на калькуляторе необратимы и причем здесь головастики. Плюсы и минусы в работе современного ученого. Как проходит день исследователя. Докатился ли кризис воспроизводимости научных исследований до DS. Почему культура проведения эксперимента не менее важна, чем математическая обоснованность его предпосылок. Обо всем этом и многом другом в эпизоде!Ссылки выпуска:Паблик Лаиды "Техножрица" (https://t.me/tech_priestess)Упомянутое в выпуске видео 3blue1brown про фрактальную размерность (https://youtu.be/zUZw6l2IPRk)Статья на NeurIPS, написанная Лаидой и её коллегами (см. список авторов), про применение фрактальной размерности для детекции текстов, сгенерированных chatGPT (https://neurips.cc/virtual/2023/poster/72624)Другие научные статьи гостьи выпуска (https://scholar.google.com/citations?user=rsTb_hYAAAAJ&hl=en) Одна из статей про обнаружение галлюцинаций модели LLAMA 2 (https://arxiv.org/abs/2312.17249)Книга "Математика в машинном обучении" (https://mml-book.github.io/)Пост с подборкой бесплатных учебных материалов по математике и machine learning, которыми можно пользоваться, чтобы вникать в эту область (https://habr.com/ru/articles/774844/)Обсуждение статьи gzip с некорректно поставленным экспериментом (пример того, как иногда бывает) (https://t.me/tech_priestess/841)Еще одно обсуждение статьи gzip с некоторым троллингом (https://t.me/tech_priestess/847)Буду благодарен за обратную связь!Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy). Условия участия (https://t.me/toBeAnMLspecialist/750)Мой телеграм для связи (https://t.me/kmsint)Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!И буквально пару месяцев назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_59), который пишу в соавторстве с крутыми разработчиками.Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях выпуска Дмитрий Матвейчев - Deep Learning Researcher, PhD кандидат, занимающийся разработкой нейронных сетей для решения задач компьютерного зрения с использованием mmwave FMCW радаров. Разговариваем о том, зачем компьютерное зрение нужно в радиосвязи на примере микроволновых радаров. Как совместить классическую цифровую обработку сигналов с современными подходами из области машинного обучения, что такое радары и какие у них есть применения в гражданской промышленности, заменят ли радары камеры и лидары в беспилотных автомобилях, сколько стоит вставить радар в ухо и зачем потом махать руками, почему большой брат теперь не только смотрит за тобой, но и чувствует чем ты занимаешься, а также многое другое в выпуске.Ссылки выпуска:google soli - проект распознавания жестов от гугл (использовался в google pixel) (https://github.com/simonwsw/deep-soli)Ramp-CNN - датасет + статья и код по обнаружению людей и машин (https://github.com/Xiangyu-Gao/Radar-multiple-perspective-object-detection?utm_source=catalyzex.com)Курируемый лист датасетов и проектов использующих FMCW радары (https://github.com/ZHOUYI1023/awesome-radar-perception/blob/main/README.md)SincNet - параметризация свертки как частотного фильтра (https://github.com/mravanelli/SincNet)Еще больше ссылок по теме в телеграм-канале Стать специалистом по машинному обучению (https://t.me/toBeAnMLspecialist)Буду благодарен за обратную связь!Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy). Условия участия (https://t.me/toBeAnMLspecialist/750)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!И буквально пару месяцев назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_58), который пишу в соавторстве с крутыми разработчиками.Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

В гостях Антонина Горячева - Head of ML в СберМаркете. Разговариваем о том, как устроен ML в онлайн-сервисе доставки продуктов и товаров с полок магазинов, начиная от того, зачем вообще машинное обучение в таких компаниях и заканчивая рассмотрением некоторых конкретных инструментов для решения ML-задач. Бывает ли такое, что заказов настолько много, что от них приходится отказываться. Как понять какую скидку нужно сделать, чтобы заработать больше, чем потерять. Как облегчить работу ретушерам фото для карточек товаров. Часто ли приходится пилить фичи, которые никому не нужны. Кого сейчас нанимают в ML-команды и как повысить свои шансы на трудоустройство. Чему можно научиться в процессе работы в такой команде. Какие качества нужно развивать, чтобы ИИ заменил тебя не сразу. Обо всем этом в выпуске.Ссылки выпуска:Канал в Телеграм про AI "Сиолошная" (https://t.me/seeallochnaya)Телеграм-канал Оли Соколовой (СЕО Скандинавии). Тоня пишет, что Оля ее очень вдохновляет как женщина лидер и у нее можно многому научиться в смысле менеджмента) (https://t.me/naiznankuo)Телеграм-канал SberMarket Tech, где Тоня и ее команда периодически делятся историями про то, как они развивают ML в СберМаркете (https://t.me/sbermarket_tech)Выступление Тони на DS Meetup в СберМаркете (https://www.youtube.com/watch?v=WQ34cu51VTs)Подкаст Для tech и этих: выпуск, в котором Тоня принимала участие (https://podcast.ru/e/5RmwiScWNDS)Буду благодарен за обратную связь!Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy). Условия участия (https://t.me/toBeAnMLspecialist/750)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!И буквально месяц назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_57), который пишу в соавторстве с крутыми разработчиками.

Гостем сегодняшнего выпуска стал Юрий Окуловский - Senior Data Scientist, кандидат физико-математических наук, ранее руководитель лаборатории искусственного интеллекта и робототехники УрФУ, также вы, возможно, его знаете как автора нескольких видеокурсов по программированию и рациональному мышлению. Юрий уже был гостем подкаста примерно три года назад и мы снова решили встретиться пообщаться, тем более у Юрия интересный взгляд на происходящие изменения в обществе, связанные со стремительным развитием технологий. В подкасте обсуждаем как превратить нейросеть в своего личного литературного негра, нужно ли гуманоидное тело современному секс-роботу, как сделать свою собственную Алису из Бесконечного лета, почему менеджеров автоматизировать проще, чем программистов, почему дохли куры у Ленина, почему корпорации не могут позволить себе делать, действительно, персонализированные и полезные продукты на базе ИИ, а также многое-многое другое.Ссылки выпуска:Предыдущий выпуск подкаста с Юрием "Искусственный Интеллект в мире моды и как подготовиться к Сингулярности" (https://mlpodcast.mave.digital/ep-11)Курсы по программированию (Юрия и не только): https://ulearn.meКурс Юрия по Научному Мышлению: https://stepik.org/course/578Телеграмм-канал Свидетели сингулярности: https://t.me/witnessesofsingularityСсылки на технологии, обсуждаемые в подкасте (https://t.me/toBeAnMLspecialist/786)Буду благодарен за обратную связь!Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy). Условия участия (https://t.me/toBeAnMLspecialist/750)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!И буквально месяц назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_56)Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)

Гостем выпуска стал Илья Гусев - известный NLP-специалист, сделавший большой вклад в область своими опенсорс-проектами, среди которых анализатор морфологии, генератор стихов, сборка различных датасетов и некоторые другие. Один из таких проектов как раз и стал поводом к сегодняшнему общению. Это большая языковая модель, заточенная на работу с русским языком - Сайга. Но говорим в выпуске мы далеко не только о ней. Илья сделал классный исторический экскурс в современные языковые модели, рассказал некоторые подробности об их устройстве, о тех подходах, которые применяют, чтобы такие модели можно было запускать на домашнем компьютере, как с помощью языковых моделей можно решать разные задачи и стоит ли вообще использовать локальные модели. Интересного и полезного прослушивания!Ссылки выпуска:Статья Ильи на Хабре "Как (быстро) сделать русский локальный ChatGPT" (https://habr.com/ru/articles/759386/)Сервис для запуска больших языковых моделей локально - lmstudio (https://lmstudio.ai/)Репозиторий сервиса oobabooga, с помощью которого можно запустить веб-интерфейс для работы с LLM локально (https://github.com/oobabooga/text-generation-webui)Репозиторий сервиса Text Generation Inference (TGI), который позволяет развертывать и поддерживать LLM (https://github.com/huggingface/text-generation-inference)Статья на arxiv "Self-Consuming Generative Models Go MAD" с анализом того, к чему приводят разные подходы обучения LLM на синтетических датасетах, сгенерированных другими LLM (https://arxiv.org/abs/2307.01850)Пост Ильи со списком материалов для погружения в NLP (https://t.me/natural_language_processing/81627)Буду благодарен за обратную связь!Вступайте в книжный ML-клуб, где мы читаем книги по машинному обучению и смежным темам!MLBookClub (https://t.me/+HIXnIwXIIFAyYzYy)Подписывайтесь на телеграм-канал "Стать специалистом по машинному обучению" (https://t.me/toBeAnMLspecialist)Мой телеграм для связи (https://t.me/kmsint)Также со мной можно связаться по электронной почте: [email protected]Я сделал бесплатный курс по созданию телеграм-ботов на Python и aiogram на Степике (https://stepik.org/120924). Присоединяйтесь, если хотите научиться разрабатывать телеграм-ботов!И буквально неделю назад я открыл доступ к пре-релизу нового курса по продвинутой разработке телеграм-ботов с элементами микросервисной архитектуры (https://stepik.org/a/153850?utm_source=mlpodcast&utm_campaign=ep_55)Выразить благодарность можно добрым словом и/или донатом (https://www.tinkoff.ru/rm/kryzhanovskiy.mikhail11/NkwE718878/)