Data Engineer

    Мы строим хранилище данных VK Рекламы: от сырых логов до отчётов, на которые опираются бизнес, аналитика и рекламные продукты. Сейчас в процессе большая миграция AdTech DWH с legacy-кластера ClickHouse TRG-1 на новый стек: YTsaurus (jupiter) для хранения и вычислений и управляемый ClickHouse (MDB adh-analytics) для аналитики, с интеграцией в OneDWH (проект ADA).



    <h3>Задачи</h3>
    <ul><li>Разработка и сопровождение ETL/ELT-пайплайнов на YQL (YTsaurus) и ClickHouse<br/></li><li>Участие в миграции таблиц и отчётности TRG-1 на YT + MDB<br/></li><li>Поддержка DAG&#39;ов в Airflow <br/></li><li>DQ-проверки, мониторинг свежести данных, разбор инцидентов и аномалий<br/></li><li>Поддержка отчётности в Horizon BI (Superset/DataLens), взаимодействие с аналитиками<br/></li><li>Дежурства в онколле с наставничеством на старте<br/></li></ul>



    <h3>Требования</h3>
    <ul><li>Уверенный SQL, опыт с ClickHouse или другой колоночной/аналитической СУБД<br/></li><li>Опыт работы с ETL-пайплайнами и оркестратором Airflow или аналогами<br/></li><li>Python на уровне написания рабочих скриптов автоматизации<br/></li><li>Базовое понимание DWH: слои, моделирование, backfill<br/></li><li>Git, умение разбирать расхождения в данных и докопаться до первопричины<br/></li></ul>



    <h3>Будет плюсом</h3>
    <ul><li>Знание YTsaurus/YQL</li><li>Опыт миграций данных между кластерами</li><li>AdTech-домен (показы, клики, биллинг, ORD/ABC)</li></ul>