Data engineer / SQL работа

Ищем Azure Databricks Data Engineer #vacancy #вакансия #remote 📍Полностью удаленный формат (кроме РФ, РБ и Украины)Key Responsibilities:• Разработка и поддержка data pipelines в Azure Databricks• Построение и оптимизация ETL/ELT процессов для обработки больших объемов данных• Проектирование и развитие решений в рамках Lakehouse architecture• Оптимизация производительности обработки данных• Интеграция с сервисами Microsoft Azure (Data Lake, Synapse и др.)Requirements:• 2–5+ лет опыта в роли Data Engineer• Практический опыт работы с Azure Databricks обязателен❗️• Уверенное знание Python / PySpark• Опыт работы с Data Lake и большими данными• Понимание принципов Lakehouse architecture• Опыт работы в облаке Microsoft Azure💌 Отправляй резюме @Liz_Kostina

#вакансия #работа #аналитик #AI #ИИ #удалённо #Senior #БА #CА #Россия #РФ 🤖Аналитик AI-агентов Ставка: 2361 рублей в час Формат работы: Удаленно из РФ (UTC +3), полная занятость Компания: Omega Solutions Проект: Финтех 🫡Обязательные требования- Опыт работы в роли аналитика с 2022 г. по настоящее время в проектах по разработке и/или модификации AI агентов;- Опыт постановки задач на реализацию AI-агентов;- Понимание какие бизнес-задачи стоит решать с испольованием AI, а какие не эффективно (и для них лучше традиционный подход к разработке ПО);- Понимание архитектуры устройства AI-агентов, компонентов, интеграций;- Опыт использования zerocode/lowcode фреймворков для разработки AI-агентов;- Опыт использования zerocode/lowcode фреймворков для разработки чат-ботов (с применением AI);- Опыт командной разработки с использованием программных продуктов Confluence, Jira, Git, Jenkins;- Опыт работы, как в каскадных (waterfall), так и в гибких методологиях (Agile и/или Scrum) разработки;- Опыт работы на проектах по разработке и/или модификации и/или внедрению систем для компаний участников финансового рынка или банков не менее

#вакансия #аналитикданных🔎 Аналитик данныхСпециализация: Data AnalystУровень: middleФормат: проектная работа (part-time), удаленноКомпания: Wollmer (бытовая техника, 1+ млрд выручки)Локация: Санкт-Петербург 🏠 (плюс, но не обязательно)Зарплата: обсуждается под проект (ориентир — до 200 000 ₽/мес)О вакансии:В компании нет единой системы аналитики. Данные разбросаны по МойСклад, CRM, Битрикс24 и Excel-таблицам. Результат: out-of-stock по ключевым товарам, перетаренные склады, закупки не синхронизированы с продажами.Нужен человек, который наведет порядок в цифрах и построит работающую систему.Обязанности (первый проект 1–2 месяца):• объединить данные из разных источников (МойСклад, CRM, Битрикс24) в единую модель• построить прогноз продаж по каждому SKU с учетом сезонности и трендов 📈• рассчитать план закупок на основе прогноза и оптимальные остатки на складе• еженедельно сверять план-факт, корректировать модель• подготовить дашборды для мониторинга ключевых метрик• далее — расширение на аналитику маркетинга, логистики и другие задачиТребования:✅ 2+ года коммерческого опыта в аналитике данных✅ SQL (PostgreSQL) — уверенно 💾✅ Python (pandas, numpy, sklearn) — для прогнозов и обработки✅ опыт построения моделей прогнозирования (временные ряды, ML) 🤖✅ умеешь выстраивать систему с нуля, а не просто делать отчетыБудет плюсом:• BI (DataLens, PowerBI, Tableau) 📊• опыт в e-commerce / supply chain / прогнозах спроса• работа с API или умение поставить задачу разработчику• опыт работы в МойСклад• если ты из Санкт-Петербурга — сможем иногда встречаться лично 🤝Условия:🔹 Проектная работа, part-time (сам определяешь график) ⏱️🔹 Удаленно🔹 Я (Ирина) — твой заказчик и «внедрятель», ты — архитектор системы🔹 По мере роста задач — расширение проектов, возможен переход в штат#Python #SQL #прогнозирование #ML #временныеряды #BI #PowerBI #DataLens #Tableau #управлениетоварнымизапасами #SOP #ecommerce #supplychain #МойСклад #PostgreSQLКонтакты: @annaguzh (Telegram)

#hiring #dataengineer #seniordataengineer #edtech #sql #python #clickhouse #postgresql #datalake #dwhSenior Data Engineer | EdTech | Remote Тип занятости: full-timeУровень: SeniorСтрана: РФЗП: готовы обсуждать в зависимости от опытаЛокация: #remote Ищем Senior Data Engineer в команду, которая развивает аналитическую платформу и data-инфраструктуру в сфере детского EdTech.Здесь данные - это основа для аналитики, отчетности и продуктов для бизнеса.В стеке: корпоративное DWH, Data Lake, Big Data, BI и автоматизация процессов. Что делать:— работать с большими объёмами данных для аналитики и отчетности;— развивать и оптимизировать ETL/ELT-процессы и data pipelines;— переводить бизнес-требования в технические спецификации;— проектировать слои данных: staging, ODS, факты, измерения;— улучшать качество данных: consistency, completeness, accuracy;— настраивать мониторинг data quality и процессов;— подготовка отчетов, дашбордов и визуализацийЧто важно:— опыт работы с данными от 4-6 лет;— сильный SQL и опыт оптимизации запросов;— продвинутые навыки с PostgreSQL и ClickHouse;— Python для анализа данных и автоматизации ETL;— опыт с Spark / Hive / Hadoop / Databricks или Data Lake / Lakehouse;— знание Airflow, dbt;— понимание архитектуры DWH и жизненного цикла данных;— опыт работы с Power BI / Tableau / DataLens;— умение общаться и с бизнесом, и с технической командой.Плюсом будет:— опыт с Snowflake / BigQuery / Redshift;— понимание data governance;— участие в проектировании архитектуры аналитических платформ;— менторство.Контакт: 📩 @hello_techrecruiter

🔥 На stepik вышел курс, который учит Создавать настоящие AI-сервисы, а не просто запускать скрипты?Этот практический курс по Python и FastAPI покажет, как собрать полноценное приложение с ИИ, базой данных, автогенерацией контента и Telegram-ботом.Ты пройдёшь путь от первого HTTP-запроса до рабочего сервиса, который сам генерирует текст через ИИ, сохраняет данные, отправляет результаты по расписанию и отвечает пользователям.Никакой теории ради теории - только практические шаги, из которых рождается реальный продукт.🎁 48 часов действует скидка в 40% процентов👉 Начать учиться на Stepik

Привет, опубликуйте пожалуйста вакансию ,на удалёнку в Узбекистане, будем делать продукт на миллионы пользователей # Data EngineerИщем на удалёнку в Ташкент DE(MLE тоже нужен), который поможет построить современную **Lakehouse/Data Platform**: от ingestion/CDC и пайплайнов обработки до витрин, качества данных и наблюдаемости.## Чем предстоит заниматься- Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества: ретраи, дедупликация, DLQ, мониторинг lag’ов.- Строить batch-пайплайны на Spark и выкладывать данные в Iceberg (Bronze/Silver/Gold), поддерживать schema evolution  бороться с мелкими файлами- Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.- Оптимизировать запросы/витрины под Trino (партиционирование, статистики, cost-based оптимизации), при необходимости — выносить агрегаты.- Прорабатывать модель данных и контракты с продуктами (Clickstream / Search / RecSys) и прикладными командами.- Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations.- Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks.## Требования- Сильный Python- Опыт со Spark (PySpark; Scala/Java — большой плюс).- Понимание lakehouse подхода и работы табличных форматов- Опыт с Kafka, понимание CDC.- Практика Airflow и/или dbt в реальных проектах.- Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок, backfill.- Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.- Опыт со Flink/Spark (stream processing, event time, state, checkpoints).- Понимание DataHub/lineage и Data Quality фреймворков.- Опыт Kubernetes/Helm и взаимодействия с DevOps.## Cтек- **Storage **: S3 + **Apache Iceberg** - **Batch processing**: Spark/Trino/Flink- **Streaming**: **Apache Kafka** + **Apache Flink**  +  **Apache Spark** - **CDC/ingestion**: **Debezium**, **Flink CDC**- **Orch

#вакансия #vacancy #de #dataengineer #spark #hadoop #dwh #etl #nrt #clickhouse #cicd #fulltime #офисВакансия: Data EngineerКомпания: СбербанкФормат: офисныйОформление: ТКЛокация: Оружейный перулок, 41 (м. Маяковская)Всем привет! Мы ищем DE в команду, которая занимается построением сквозной аналитики для маркетинга B2B и B2C. Наш продукт - это единая платформа сбора, обработки, хранения и монетизации маркетинговых данных по всему пути пользователя от показа рекламных сообщений до продажи продуктов B2B и B2CЧем предстоит заниматься • Проектировать и разрабатывать аналитические витрины данных на базе DWH• Участвовать в построении и развитии архитектуры DWH: схемы, производительность, интеграции• Мониторить, оптимизировать и масштабировать пайплайны данных• Создавать ETL/ELT-процессы на Apache Airflow, Apache NiFi и собственном ETL-продукте компании, включая NR• Разрабатывать сервисы на Python (Pandas, NumPy, REST API, FastAPI)Обязательно нужно владеть• PySpark/Hadoop: ETL, трансформации, Spark SQL для распределённой обработки• SQL (классика - оконные функции, табличные выражения, процедуры, транзакции и оптимизация)• Python - стандартный набор для работы с данными (Pandas/numpy), для сервисов - REST API/SQLAlchemy/FastAPI/FlaskБудет большим плюсом• Aifrlow/NiFi - для оркестрации пайплайнов• Bash скрипты, Git, CI/CD, контейнеризация, автоматизация релизов• Протоколы, принципы NRT разработки: HTTP/REST, Kafka для стриминга• Clickhouse/PostgreSQL: индексы, партиционирование, понимание работы баз под капотом• Большим плюсом будет знание dbt, S3, Prometheus/Grafana/KibanaПлюшки от компании• Аккредитованная IT-компания - для тех, у кого IT-ипотека, также есть возможность получения IT-отсрочки• Ежегодная премия• ДМС с первого месяца• Корпоративное обучение на внутренних и внешних ресурсах Почему у нас классно• Ты видишь результат своей работы, потому что он напрямую влияет на работу маркетинга• Можно хорошо прокачаться как специалист, потому что есть куча разнообразных задач

#Senior #Data #Engineer #ITJobs #Вакансия #VacancySenior Data Engineer - US startupFormat: Fully remoteLocation: AnywhereEngagement: B2B contract (long-term), full-timeCompensation range: $5,000–$8,000 / monthTimezone: CET-focused (comfortable working aligned with CET)Тo specific requirements for the data stackWe’re building the data foundation from scratch, so the stack isn’t locked yetWhat matters: you understand both batch + streaming, know when to use each, and can make solid architecture trade-offs.Core requirements:— Full proficiency in English;— 5+ years as a Data Engineer building production-grade systems;— Strong end-to-end ownership: architecture → ingestion → processing → analytics-ready datasets;— Deep understanding of data modeling and scalable processing systems;— Hands-on with batch and/or streaming pipelines;— Experience with semi-structured/unstructured data (events, APIs, external platforms);— Data quality checks, monitoring, alerting, and reliability practices;— Comfortable operating production systems in cloud environments (GCP).Nice-to-have— Experience with web scrapers / scraping pipelines;— Golang (Go) experience;You’ll do:— Build end-to-end data processing systems from scratch to ingest and analyze social media data at scale;— Own the data architecture and technical direction across the full pipeline;— Build robust batch + streaming pipelines for high-volume, noisy, evolving sources;— Establish best practices for testing, monitoring, quality, and reliability;— Lay the groundwork for advanced analytics use cases;— Mentor others and raise the overall data engineering bar.TG to reach out: @pyanzinpsyspb

Data EngineerИщем в Ташкент DE(MLE тоже нужен), который поможет построить современную Lakehouse/Data Platform: от ingestion/CDC и пайплайнов обработки до витрин, качества данных и наблюдаемости.## Чем предстоит заниматься- Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества: ретраи, дедупликация, DLQ, мониторинг lag’ов.- Строить batch-пайплайны на Spark и выкладывать данные в Iceberg (Bronze/Silver/Gold), поддерживать schema evolution бороться с мелкими файлами- Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage.- Оптимизировать запросы/витрины под Trino (партиционирование, статистики, cost-based оптимизации), при необходимости — выносить агрегаты.- Прорабатывать модель данных и контракты с продуктами (Clickstream / Search / RecSys) и прикладными командами.- Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations.- Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks.## Требования- Сильный Python- Опыт со Spark (PySpark; Scala/Java — большой плюс).- Понимание lakehouse подхода и работы табличных форматов- Опыт с Kafka, понимание CDC.- Практика Airflow и/или dbt в реальных проектах.- Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок, backfill.- Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов.- Опыт со Flink/Spark (stream processing, event time, state, checkpoints).- Понимание DataHub/lineage и Data Quality фреймворков.- Опыт Kubernetes/Helm и взаимодействия с DevOps.## Cтек- Storage : S3 + Apache Iceberg - Batch processing: Spark/Trino/Flink- Streaming: Apache Kafka + Apache Flink + Apache Spark - CDC/ingestion: Debezium, Flink CDC- Orchestration: Apache Airflow (Kubernetes Executor)- Transformations / marts: dbt Core- Query layer: Trino- Data Quality: dbt tests, Great Expectations- Infra: Kubernetes, Helm, Arg

🚀 Вакансия: Продуктовый аналитик (Middle)🏢 Компания: Озон (Ozon.Tech)🌎 Локация: 🇷🇺 Россия🕕 Часовой пояс: Москва💼 Формат работы: гибрид, удаленка (не желательно, но можно)💰 Зарплата: по договоренности📊 Отрасли: e-commerce🎯 Требования:- Опыт продуктовой аналитики от года- Знание SQL и Python- Умение обосновать свои результаты- AirFlow, Spark, Hadoop, Clickhouse, Vertica будет плюсом. Если не знаете - научим✅ Рабочие задачи:- Строить чартики- Довольно много ETL- Продуктовые исследования- Не будет АБ тестов- Нужно будет часто взаимодействовать с заказчиками (продактами)- Основной проект будет Доставляемость push и СМС. За подробностями можно в лс📌 Условия:- ДМС со стоматологией- 3 месяца испыталка- Хорошая команда- Оформление только по ТК📩 Контакты:@arseny_sal tg#SQL #Python #ECommerce #Middle #Гибрид #Удаленка #Офис #ДМС