Data Engineer (Middle)

Обязанности
• Разработка ETL на Apache Spark (Java стек);
• Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse);
• Разработка витрин данных в Greenplum и ClickHouse;
• Оркестрация ETL-процессов;
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль);
• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset;

Требования
Стек технологий : HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana
• Обязательное наличие опыта разработки, можно не владеть java, но иметь опыт со Spark (мы готов обучить Java, но важно, чтобы был опыт с pyspark);
• Опыт работы с Apache Spark от 1 года;
• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет;
• Опыт работы с Hadoop (HDFS, Hive);
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
• Опыт оптимизации ETL-пайплайнов и SQL кода;
• Продвинутые знания SQL;
• Понимание принципов работы распределенных систем;
• Готовность осваивать Java для использования Spark.

Будет плюсом:
• Опыт разработки на Java;
• Опыт работы в проектах, связанных с миграцией данных или BI-платформ;
• Опыт работы в банковской сфере, понимание бизнес домена;
• Опыт работы в крупных проектах с высокими требованиями к надежности.

Условия
Формат работы: гибрид в Москве на Вавилова, на старте 3 дня и более в офисе, далее опционально;
Гибкие варианты сотрудничества;
Индивидуальный план развития с возможностью освоения новых технологий;
Компенсацию расходов на покупку профессиональной литературы;
Доступ к курсам нашей объединенной IT-школы GIGASCHOOL.