Senior Big Data Engineer

Чем предстоит заниматься:
- Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения;
- Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino;
- Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
- Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы;
- Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ);
- Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
- Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища;
- Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде.

Мы ожидаем:
- Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting.
- Опыт работы с Hadoop (HDFS, Hive Metastore).
- Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark);
- Apache Icberg – владение процедурами, snapshots, maintenance.
- Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills.
- Уверенное знание Git, CI/CD;
- Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты;
- Хорошее понимание СУБД, SQL;
- Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта);
- Опыт работы с Kafka – понимание архитектуры и слабых мест;
- Опыт с облачными технологиями: преимущественно Yandex Cloud;
- Опыт с Clickhouse.
- AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.

Мы предлагаем:
- ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
- Страхование жизни;
- Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
- Программа привилегий и скидок от BestBenefits;
- До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
- Бесплатные юридические консультации;
- Дополнительные выходные в случае важных событий;
- Яркие мероприятия и много неформального общения.
- Развитие для каждого: Опытный наставник для каждого новичка; Обучение и участие во внешних конференциях; Помогаем развивать личный бренд, выступать на конференциях и писать статьи; Performance Review дважды в год, чтобы развиваться системно; Проводим митапы и demo-дни для обмена знаниями; Погружаем в fashion и каждый сезон знакомим с модными трендами.