Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)

Развивать и сопровождать текущую дата-платформу (Hadoop, Oracle, Vertica)

Участвовать в построении Lakehouse-платформы на базе Yandex Cloud

Проектировать, разворачивать и сопровождать платформенные сервисы для обработки, хранения, оркестрации и доступа к данным.

Автоматизировать эксплуатацию и развертывание инфраструктуры с использованием Terraform, Ansible, Helm и GitOps-подходов.

Развивать Kubernetes-контур дата-платформы: workloads, операторы, изоляцию окружений, управление ресурсами, storage, ingress, секреты, мониторинг и диагностику проблем.

Поддерживать и развивать системы оркестрации и выполнения data-пайплайнов: Airflow, Spark, Trino, JupyterHub и связанные компоненты.

Развивать мониторинг и алертинг дата-платформы: доступность сервисов, задержки, ошибки, утилизация ресурсов, состояние пайплайнов, свежесть и качество данных.

Участвовать в построении практик DataOps: проверка схем, контроль миграций, контроль качества и свежести данных, воспроизводимость поставки данных, управление изменениями.

Обеспечивать надежную эксплуатацию платформенных компонентов в гибридной инфраструктуре.

Оптимизировать производительность, устойчивость и стоимость инфраструктуры данных.

Взаимодействовать с командами DE, DWH, Analytics, DS, MLOps, GenAIOps по вопросам стабильности, масштабируемости и развития дата-платформы.

Исследовать новые инструменты и подходы в области DataOps, Lakehouse и Data Platform Engineering, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы.

Опыт промышленной эксплуатации дата-платформ, распределенных систем хранения или обработки данных.

Понимание архитектуры современных платформ данных: DWH, Data Lake, Lakehouse, OLAP, batch-обработка, оркестрация пайплайнов и сервисы доступа к данным.

Опыт работы с системами обработки и доступа к данным: Airflow, Spark, Trino, JupyterHub или аналогичными решениями.

Уверенный опыт работы с Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем.

Опыт работы с Kubernetes, Helm и Docker в production окружениях.

Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, Helm, GitOps-подходы.

Опыт работы с системами контроля версий и организации CI/CD: GitLab, Bitbucket, Bamboo или аналогичными решениями.

Уверенное владение Python или другим языком для автоматизации, разработки внутренних инструментов и интеграций.

Уверенный опыт работы с SQL и понимание принципов оптимизации запросов в аналитических системах.

Понимание принципов эксплуатации распределенных систем: отказоустойчивость, масштабирование, балансировка нагрузки, управление ресурсами, резервирование и восстановление.

Опыт настройки мониторинга и алертинга: Prometheus Stack, Grafana, Alertmanager, логи, метрики и технические дашборды.

Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными.