Data Engineering Team Lead

Основные задачи Прямое управление командой дата-инженеров: постановка задач, приоритизация, код-ревью, менторство, найм (в том числе предстоящий найм сеньора в команду)
Отвечать за архитектура DWH: слои raw → stg → prep → core → dmt
Проектное управление: roadmap развития DWH
Управление доступом к данным: ролевая модель, права, гранты, распределение ресурсов хранилища между растущим числом потребителей
Выстраивание процессов: CI/CD, Data Quality, Data Governance, дежурства и инцидент-менеджмент, стандарты разработки data pipelines и dbt моделей
Выстраивание взаимодействия DE с бизнес-аналитиками, продуктовыми аналитиками, BI и другими потребителями данных

Мы ожидаем Опыт работы тимлидом дата-инженеров от 2 лет: реальный опыт постановки задач, проведения код-ревью, найма и развития сотрудников — не только техническая экспертиза
Уверенный опыт с ClickHouse и dbt в проде
Опыт построения или развития DWH по dimensional modeling / методологии Kimball
Сильный SQL и понимание оптимизации запросов в ClickHouse (партиционирование, движки, materialized views, инкрементальная загрузка)
Опыт работы с оркестраторами (Airflow или аналог)
Python на уровне дата инженерных задач (ETL/ELT, автоматизация, интеграции с API)
Опыт выстраивания Data Quality процессов (тесты, мониторинг аномалий, документация)
Опыт CI/CD и работы с git-flow

Будет плюсом Опыт управления доступом к данным: ролевые модели, гранты, разграничение прав в хранилище на несколько команд-потребителей
Опыт внедрения CDC
Опыт с Kafka, Trino, Spark

Гибридный формат работы в Санкт-Петербурге