Airflow

• Airflow – это программное обеспечение от Apache с открытым исходным кодом для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных. В Airflow сценарии по обработке и трансформации данных (ETL) можно реализовать в виде набора связанных задач на python-скрипт. Планировщик задач позволяет организовать асинхронное и распределённое выполнение заданий. Существуют коннекторы для подключения к различным СУБД (MySQL, PostgreSQL, MongoDB, Redis, Apache Hive, Apache Spark, Apache Hadoop, объектное хранилище S3 и другие), в том числе к СУБД ClickHouse.

Airflow – это программное обеспечение от Apache с открытым исходным кодом для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных. В Airflow сценарии по обработке и трансформации данных (ETL) можно реализовать в виде набора связанных задач на python-скрипт. Планировщик задач позволяет организовать асинхронное и распределённое выполнение заданий. Существуют коннекторы для подключения к различным СУБД (MySQL, PostgreSQL, MongoDB, Redis, Apache Hive, Apache Spark, Apache Hadoop, объектное хранилище S3 и другие), в том числе к СУБД ClickHouse.