Время Валеры

Вертикальный сказ о том, как мы покачались и накинули +2.5 см к рукам

⚡Старт нового сезона «Деньги любят техно»Валерий Бабушкин, преподаватель, международный AI-эксперт (ex. X5, Яндекс), открывает 6-ой сезон подкаста «Деньги любят техно». В выпуске поговорили о навыках будущего, карьере в DS и критическом мышлении.Кстати, Валерий пришел не с пустыми руками — принес собственную книгу «Машинное обучение. Проектирование систем от идеи до реализации», которую разыграем под этим постом.Поучаствовать в розыгрыше очень просто — напиши в комментариях, как используешь LLM в работе или повседневной жизни. Автор самого интересного и экзотического (по мнению ведущих подкаста) варианта применения LLM получит в подарок книгу с автографом Валерия.Период розыгрыша — с 15 по 23 июня, победителя* объявим под этим постом. Включай свежий выпуск, вдохновляйся и лови инсайты!🔵VK Видео🔵Аудиоверсии*Розыгрыш действует только на территории РФ.

Вышел эпизод подкаста - Деньги любят Техно

Монументальный пост от моего друга - From App Factories to a Reasoning CompilerI didn’t plan to build a compiler — I just wanted to maximize out of the AI agents I had.What is an AI agent today? It’s actually quite simple. There is a language model — the brain and the center of decision making. And there is a harness around the model: the environment where the model works — the thing that makes the model an agent. Without the harness the model is just a text generator, sometimes quite a smart one.Most of the resources of the labs around the world go into improving the models, which we use as is — and thank god, it’s not us who pay for their training. The harness gets much less attention from the research community. So I have good news for you: the harness is exactly the place where an indie researcher can make a contribution, without having the resources of the frontier labs.

Нелёгкая судьба иностранного корреспондента вновь занесла меня на теннисный корт.В этот раз на women's finals на Queen's Championships.В прошлый раз, на Уимблдоне, это было событие. Самый короткий женский финал за всю историю: 6-0, 6-0.Посмотрим, что выйдет в этот раз.UPD 1. 6-0 - пока повторяетсяНелёгкая судьба иностранного корреспондента вновь занесла меня на теннисный корт.В этот раз на women's finals на Queen's Championships.В прошлый раз, на Уимблдоне, это было событие. Самый короткий женский финал за всю историю: 6-0, 6-0.Посмотрим, что выйдет в этот раз.UPD 1. 6-0 - пока повторяется

По мотивам последних событийTell anyone who will listen that you’re as dangerous as nuclear weapons, then one of your top investors and tech partners reports jailbreaks, then you say it was all a misunderstandingПо мотивам последних событийTell anyone who will listen that you’re as dangerous as nuclear weapons, then one of your top investors and tech partners reports jailbreaks, then you say it was all a misunderstanding

На infra.conf 2026 Яндекс рассказал про Dev Cluster — штуку, которая должна была появиться давно. Это динамическое распределение GPU-ресурсов внутри их ML-платформы.Суть следующая: ML-инженер за пару кликов получает контейнер с нужной GPU-конфигурацией — без заявок, без ожидания, без "Игорь,ты уже два года не возвращаешь битки ты уже два дня не трогаешь свою ГПУ, отдай". Говорят, ресурсы доступны за секунды.Главная боль, которую это решает, — простой GPU. Когда у тебя парк машин, а люди вручную бронируют их и забывают отпускать (что происходит всегда), утилизация хуже, чем у Игоря. Dev Cluster перераспределяет мощности динамически — разработчики фокусируются на экспериментах, а не на - кто забрал мою нодуЭто часть единой ML-платформы, которая покрывает весь цикл от данных до деплоя. Её делают ребята из Yandex Infrastructure, которые строят дата-центры.Возможно, это поможет вам не потратить 500 млн долларов на токены за месяц.

Прочитал интересную (и применимую) статью Rethinking Early Stopping: Refine, Then Calibrate.Часто в курсах по машинному обучению говорят, что ошибку системы можно разложить на bias, variance, noise. На некоторых редких курсах даже учат, как это считать и что с этим делать дальше.Попробуем посмотреть на эту проблему с другой стороны. В задачах вероятностной классификации loss для proper scoring rules можно разложить на: calibration и refinement.Калибровка — мы сказали, что вероятность 80%. Сколько из взятых образцов будут принадлежать к классу 1? (Считать это можно через ECE — Expected Calibration Error).Refinement — насколько хорошо модель разделяет классы. Допустим, модель выдала скор 0.9, все образцы оказались класса 1, а все, что ниже — класса 0. Модель откалибрована так себе, но разделяет классно. Собственно, если бы модель была откалибрована, мы могли бы выбирать отсечку вероятностно через саму вероятность.Легко представить и обратную ситуацию: модель прекрасно откалибрована, но разделяет плохо. Например, модель, которая всегда предсказывает вероятность 50% для честной монетки, идеально откалибрована, но её разделяющая способность минимальна.Из чего делаем вывод, что в какой-то момент улучшение функции потерь, из тех что относятся к семейству proper scoring functions, может происходить лишь за счет улучшения калибровки или даже ухудшать разделение, но за счет большого по величине улучшения калибровки выдавать лучший скор.Это плохо. Калибровку часто можно существенно поправить потом post-hoc методами, поэтому остановка обучения по лоссу на валидации может привести к ситуации, что мы взяли далеко не лучший чекпойнт.Что делать?Сохранить несколько чекпойнтов модели.Откалибровать каждый из них одинаковым методом.Только после этого сравнивать их по loss.В таком случае для каждого чекпойнта мы отдельно минимизируем доступную calibration error выбранным post-hoc методом (ссылка на запись вебинара), а разница в loss начинает лучше отражать именно качество разделения кла

Говорят, в Лондоне мания на манго Альфонсо из Индии, которых экспортируют суммарно не более 1%.Первый раз я такие попробовал в мае 2024 года в городе Пуне.Не знаю, есть мания или нет, но сегодня мой дилер передал мне коробку

Согласился стать техническим редактором книги:Cracking the AI Systems Design Interview от Manning PublicationsДело за малым: автору написать книгу, а мне прочитать и превратить её в курс.

Игорь скинул статью от Steve Egge — The last technical interview.Хорошая статья, Steve описал примерно то, что я понял на первом году директорства, и повторил недавно в записи подкаста Деньги Любят техно.Лучшим сигналом по тому, будет ли человек хорошим сотрудником, является работа с ним, поэтому, чтобы быстро и хорошо нанимать, нужно уметь быстро увольнять.Стив в статье пытается достичь этого другими методами, вроде временного employment и стажировок, но принцип тот же.Рад, что он пришел к этому за 35 лет.Примерно так же, как FDE стали популярны недавно, а в Х5 существовали еще с 2018 года в виде группы ad hoc аналитики.Страшно подумать, какие следующие инновационные методики, созданные в Х5, будут открыты миру в будущем.

Два классных проекта от Microsoft про skills для LLM-агентов:SkillOpt project page: https://microsoft.github.io/SkillOpt/SkillLens project page: https://microsoft.github.io/SkillLens/SkillOpt — это метод Microsoft для “обучения” текстовых skill-файлов для LLM-агентов. Модель не fine-tune’ят, веса не меняют. Система гоняет агента на задачах, смотрит на ошибки и успешные траектории, редактирует markdown-инструкцию, проверяет новую версию на validation set и оставляет только те правки, которые улучшают результат. Правки, которые ухудшают результат, тоже сохраняются в память как rejected edits, чтобы не повторять те же ошибки. Получается training loop для prompt/skill-документа.SkillLens — это исследование того, как такие model-generated skills работают: как они извлекаются из прошлых траекторий агента, когда помогают, когда вредят, почему один skill может улучшать GPT, но ломать Qwen, и почему “красиво написанный skill” не обязательно полезен. Строим lifecycle : experience → extraction → consumption.P.S. Так как это Microsoft, продукты они всё равно построят ужасные. Талант не пропьёшь.

Привет!Встречайте двадцатый выпуск подкаста "Капитанский мостик". В этом выпуске в гостях у капитанов был Валера Бабушкин, поговорили про актуальные вопросы найма, ИИ в промышленности и вообще все все на свете! 🔥Ведущие подкаста - Валентин Малых и Дмитрий Колодезев. Смотрите видео на каналах ⤵️ODS VK VideoODS YouTube📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).

Как ИИ меняет A/B-тесты? — об этом расскажет Валерий Бабушкин в новом интервью 😀Мы хотим сделать разговор максимально интересным и полезным, поэтому собираем вопросы от вас 👀 Что вам действительно интересно узнать по этой теме? Какие изменения в A/B-тестах из-за ИИ вас удивляют, бесят или вызывают вопросы?Пишите в комментариях — лучшие вопросы зададим Валерию😀

Датафест прошел успешно. После выступления меня держали более 4 часов в заложниках.Если еще есть фотки, скидывайте в комментарии.Датафест прошел успешно. После выступления меня держали более 4 часов в заложниках.Если еще есть фотки, скидывайте в комментарии.

Некоторые давно просили, скоро будет

✅ Интервью + тренировка с Валерием Бабушкиным Можете пока монтируется видос, подписаться на его канал:https://t.me/cryptovalerii✅ Интервью + тренировка с Валерием Бабушкиным Можете пока монтируется видос, подписаться на его канал:https://t.me/cryptovalerii

1 июня стартует набор на курс.Сам курс, скорее всего, будет запущен в середине июля.~ 60-70 часов живого контента Форма для связи по вопросам

Валерий Бабушкин и тот самый курс по ML System Design в MLinsideЕсли вы давно хотели разобраться, как проектируют ML-системы в реальных продуктах – это то, что вам нужно.Курс посвящён проектированию ML-систем для реальных продуктов: работе с архитектурой, пайплайнами обучения, deployment-процессами, мониторингом моделей, оптимизацией инференса и поддержкой ML под нагрузкой. Также на курсе разберём подходы к проектированию современных агентских AI-систем и интеграции LLM в production-инфраструктуру.На курсе вы научитесь:▪️проектировать ML-системы под реальные ограничения▪️строить ML design docs▪️выбирать метрики и функции потерь▪️выстраивать пайплайны обучения▪️анализировать ошибки моделей▪️внедрять ML в продукт▪️мониторить качество моделей в продакшене▪️оптимизировать инференс под нагрузкуКурс подойдёт ML-инженерам, тимлидам ML-команд и начинающим специалистам, которым нужен системный взгляд на ML.Преподаватель – Валерий Бабушкин, наверняка он не нуждается в представлении, но всё же:▪️Senior Director по Data & AI в BP▪️грандмастер Kaggle▪️автор книги Machine Learning System Design.Курс будет идти 4 месяца и вас ждут 60 занятий, реальные кейсы, разбор design docs, архитектурные решения из production ML, а главное – live-обсуждения и ревью с Валерием. Посмотреть сайт можно тут.Это курс для тех, кто хочет перейти от “умею обучать модели” к “умею строить ML-системы”.Стартуем 1 июня, количество мест ограничено. Записаться можно по ссылке.

23 мая буду выступать на открытии Data Fest 2026 на площадке X5 Tech в Москве В рамках секции Open Career поделюсь размышлениями:▫️ Почему важно не идентифицировать себя через работу▫️ Почему плохой менеджер для одного - хороший для другого▫️ Что такое завтрак (главный вопрос современности)▫️ Агентность как отличительная черта успеха (статья Child’s Play)▫️ Как изменился мой взгляд на аутстафф и из-за чего Ещё в программе будет много докладов секций ALLMs, Data Strategy, Data и ML в Retail, Reliable ML. Регистрация на ивент тут 👈Всего у феста будет 12 офлайнов, ссылки на все офлайны можно найти на странице ивента,