Инжиниринг Данных

Как там уже запустили курсы AI разработчик - от 0 до 1млн рублей за 3 месяца?

Snowflake начал активно контрибьютить в Apache Spark https://careers.snowflake.com/us/en/blogarticle/building-apache-spark-in-the-open-at-snowflake Статья рассказывает о подходе Snowflake к интеграции Apache Spark в свою экосистему. Вот ключевые моменты:• Главный герой — Holden Karau, Principal Software Engineer в Snowflake и коммиттер Apache Spark.• Цель Snowflake — адаптировать Spark API для улучшения возможностей дата-инженерии и создания более целостного опыта для пользователей.• Open Source подход — компания активно участвует в разработке открытых проектов, таких как Apache Spark и Apache Iceberg, что помогает лучше соответствовать потребностям клиентов.• Культура сотрудничества — Karau подчёркивает важность вклада в open source ради общего блага, а не личной выгоды, и делится опытом работы в открытых сообществах.• Если коротко: статья о том, как Snowflake строит интеграцию с Apache Spark через активное участие в open source разработке, а не просто использует готовые решения.Раньше у Snowflake был фокус на свой собственный фреймворк - SnowparkSnowflake создал Snowpark — свой собственный developer API (Python, Scala, Java) с DataFrame-подобным синтаксисом, похожим на Spark. Но это не Spark — весь код выполняется внутри движка Snowflake, никакого Spark-кластера не нужно. По сути, Snowflake пытался предложить альтернативу Spark, не требующую внешней инфраструктуры. Возможно из Spark не сработал, и они решили топить за оригинальный Spark. В Apache Spark 3.4 появился Spark Connect — архитектура с разделением клиента и кластера. Snowflake воспользовался этим, чтобы сделать Snowpark Connect for Spark: теперь можно писать настоящий PySpark-код, а выполняться он будет на движке Snowflake — без Spark-кластера. Это уже настоящий Apache Spark API, а не собственный аналог.

🚀 Быстрый старт в AI-аналитику с DataLens16 июня в 12:00 (мск) — вебинар о том, как работает AI-аналитика в DataLens.Разберём всё по делу:🤖 Большое обновление Нейроаналитика — агентский режим под капотом📊 Новые сценарии: виджеты дашборда, рассылки, встройки, публикации🔧 Внешние AI-инструменты для эффективной работы с DataLens☁️ Облако и on-premises — что доступно и как🗺 Планы развития встроенных AI-возможностей и инфраструктуры для внешних AIРегистрируйтесь — и приходите с вопросами 👇

Вчера посмотрел про история Антропика и их основателей Inside Anthropic, the $965 Billion AI Juggernaut | The Circuit, узнал про их культуру и рост. Отличное видео, особенно если вы изучаете английский или не работали еще с Claude Code.

📚 Вышел очень крепкий хэндбук по A/B-тестам — его подготовили в команде платформы Trisigma от Авито Тех. Обычно такие материалы уходят либо в сухую теорию, либо в абстрактные примеры. Здесь наоборот все завязано на реальных продуктовых кейсах и практических ошибках, с которыми сталкиваются команды в продакшне.Внутри не только базовые вещи про гипотезы и метрики, но и то, что часто забывают даже опытные специалисты: дисперсия, стандартная ошибка, распределения, чувствительность метрик, ложноположительные и ложноотрицательные результаты. И ко всему есть формулы, примеры и понятные объяснения.Отдельно разобраны:– классификация метрик (goal, proxy, guardrail, debug);– закон Кэмпбелла;– OEC;– атомарный дизайн метрик;– Central Limit Theorem без академической духоты.Полезно и тем, кто только входит в аналитику/продакт, и тем, кто уже работает с экспериментами, но хочет систематизировать знания или подготовиться к собеседованиям.Хэндбук бесплатный. Получить можно через бота. Да, там встроена подписка на канал, но контент у ребят действительно достойный.К тому же, команда Trisigma отдает его бесплатно.

Dagster и цены мы тут обсуждали в прошлом. Походу еще дороже стал. Полностью поддерживаю, если у вас с бюджетом напряг не используйте Dagster. Airflow или AWS Step functions и AWS Batch (если надо совсем дешево и вы на AWS)

Очевидный факт - рост AI инженеров. Сейчас это уже не LLM researcher, и человек, который знает как работать с моделями, как их выбирать, настраивать, проверять качество, и отслеживать стоимость. Сейчас отличное время войти в эту профессию и уже на месте разбираться как лучше это использовать.Очевидный факт - рост AI инженеров. Сейчас это уже не LLM researcher, и человек, который знает как работать с моделями, как их выбирать, настраивать, проверять качество, и отслеживать стоимость. Сейчас отличное время войти в эту профессию и уже на месте разбираться как лучше это использовать.

Атака на корпоративного ИИ-ассистента: разбор уязвимостей в прямом эфиреБольшинство ИИ-систем с доступом к внутренним данным уязвимы. И проблема не в самом ИИ, а в том, что безопасность закладывают после запуска, а не до.16 июня MWS AI (входит в МТС Web Services) покажут живое демо атаки на корпоративного ИИ-ассистента, подключенного к внутренним базам данных. Разберут конкретные векторы, слабые места архитектуры и что именно приводит к раскрытию лишнего контекста.Также в программе:• чек-лист вопросов перед выводом ИИ-решения в прод• рамка для оценки стоимости ИИ-инцидента• как выстроить взаимодействие между разработкой, ИБ и бизнесомБудет полезно ML-инженерам, архитекторам ИИ-систем и техническим лидерам, которые проектируют или внедряют решения с доступом к корпоративным данным.🗓 16 июня, 16:00 мск→ Зарегистрироваться

Сегодня прошла замечательная история. На моем любимом проекте в Technical Safety BC, где работают пенсионеры и полу пенсионеры (в прямом смысле ждут свою пенсию), где текущий дата инженер использует голосовые помощники, чтобы делать пайплайны в SSIS, потому что потерял зрение на старости лет - меня уволили одним днем, за то, что в проекте по миграции on-premises на AWS я сделал s3 bucket public. Хотел визуализировать excel табличку с прогрессом как сайт в тестовом AWS аккаунте. PS скорей всего они просто устали, что я слишком на них газовал и говорил, что они некомпетентные и ленивые бараны.

Закончилась экспедиция на sup. 5 дней и 4 ночи вокруг Vargas Island, это на острове Ванкувер со стороны Тихого океана. Погода была разная от +4 до +20, были и дожди и ветра. По расстоянию мы не очень много проплывали в день. В основ упор был на изучение навигации, карт, компаса, погоды и планирования. Группа была маленькая- 5 человек и 2 организатора. С одной стороны это очень дорогой тур, чтобы пожить в палатке и мерзнуть под дождем, с другой стороны он бесценный с точки зрения опыта и эмоцией. Следующим летом обязательно запишусь еще раз, но уже в другой локации.Закончилась экспедиция на sup. 5 дней и 4 ночи вокруг Vargas Island, это на острове Ванкувер со стороны Тихого океана. Погода была разная от +4 до +20, были и дожди и ветра. По расстоянию мы не очень много проплывали в день. В основ упор был на изучение навигации, карт, компаса, погоды и планирования. Группа была маленькая- 5 человек и 2 организатора. С одной стороны это очень дорогой тур, чтобы пожить в палатке и мерзнуть под дождем, с другой стороны он бесценный с точки зрения опыта и эмоцией. Следующим летом обязательно запишусь еще раз, но уже в другой локации.

Собрал материал про AI workloads и видео карты на спутниках https://blog.playeronespace.com/p/brains-in-orbit-a-complete-guideРешил, что IoT спутниковая сеть это очень банально. Узнал про LEO PNT - gps на низкой орбите с точностью до см. Очень круто и дорого. А вот Edge AI интересный кейс и можно начать с небольшого, если просто сфокусироваться на сам спутник, который будет делать расчеты на борту.

Добавил пост про то, как и где учить Databricks https://blog.surfalytics.com/p/navigating-databricks-learning-a

Отличный аргумент, что AI не заменит нас! А вы умеете кушать готовить?👀

Офер в Яндекс за выходные: 6–7 июняЕсли вы продуктовый, дата-аналитик или датасаентист с опытом на Python от 3 лет, участвуйте в Weekend Offer Analytics*. Как всё устроено:🔵 до 27 мая — регистрация;🔵 6 июня — две технические секции, вместо трёх в обычном найме;🔵 7 июня — знакомство с командами и офер.В мероприятии участвуют команды: R&D, Автономный транспорт, Алиса и Умные устройства, Поиск и Суперапп, Независимый Ecom и другие. Вы сможете пообщаться с нанимающими менеджерами и выбрать проект, который покажется самым интересным.Все подробности и полезные ссылки — на сайте. После регистрации с вами свяжется рекрутер и договорится об удобном времени для интервью.

Добавил секцию блога к сайту. Начнем с базы, что такое спутник 🛰🛰https://blog.playeronespace.com/p/what-is-a-satellite

За последнее время мне удалось пообщаться со многими компаниями Enterprise-уровня, и у всех одна и та же проблема — криво внедренный Databricks. Что значит криво? Значит неудобно и неинтуитивно. Почему так? Потому что «а кто ж его знает, как надо». Добавим сюда, что Databricks в такие конторы внедряется подрядчиками, которые ездят по ушам VP-уровню и другому персоналу, который уже мастер спорта по митингам и презентациям, но у которого есть сложности с технической составляющей организации, в которой они работают годами. Вот и получается: хотели как лучше, а получилось как всегда.Зато таких картин нет в историях со Snowflake. Что бы там ни говорили про цены, производительность и другие особенности платформ, я ни разу не видел косячного внедрения Snowflake. Ну, максимум ценник выше, чем должен быть, но люди работают, пишут запросы, и вопросов, как получить доступ к данным, не возникает. У всех всё понятно: dbt, Airflow, GitHub. Всё работает как и должно, легко найти специалиста, легко подключить Claude Code.А как у вас дела?PS фото с paddle board, скоро будет экспедиция на 5 дней, тренируюсь.

Microsoft Fabric сложил все туториалы в одном месте https://community.fabric.microsoft.com/t5/Fabric-Updates-Blog/Fabric-Jumpstart-Discover-what-s-possible-with-Microsoft-Fabric/ba-p/5182277Мне так и не довелось с ним поработать глубоко, а вам?

Пример coding задачек для собеседования, но уже можно решать с AI. Пример от Staff Engineer из Meta. То есть, вам нужно общаться с агентом и рассказывать, как вы думаете, как решаете задачу. Раньше можно было выучить типовые задачки и постараться, чтобы ответ прошел verification. А теперь, задачки по коду превратились в системный дизайн, где нужно все проговаривать.Хорошая новость для тех, кто не любит секции leetcode! Но это в передовых компаниях уже так делают, думаю большинство такое не грозит.https://youtu.be/A1kX8fJx53c?si=Mu3l-TppeqXxxnCVУ кого-то были уже такие примеры на собеседованиях?

Уважаемая команда по найму,Благодарю вас за интерес к отклонению моей заявки.Я ознакомился с вашим письмом об отказе и был впечатлён вашим процессом принятия решений и стремлением двигаться вперёд с другими кандидатами.Однако в этом году я получил уже немало писем с отказами. Поэтому, после тщательного рассмотрения, я принял решение не принимать ваш отказ на данном этапе.Ещё раз выражаю восхищение вашей смелостью отказать мне и желаю всяческих успехов в отклонении других кандидатов.С нетерпением жду возможности присоединиться к команде в ближайшее время.С уважением,🏆