OPENLINEAGE

Standard open-source de capture data lineage.

Définition

OpenLineage spec définit Run, Job, Dataset, Lineage events (START, COMPLETE, FAIL, ABORT, OTHER) en JSON. Integrations : Spark, Airflow, Flink, dbt, Great Expectations. Backend principaux : Marquez (reference), DataHub, Atlan, Collibra.

Origine

Lancé par WeWork (Astronomer) en 2020 ; donné à LF AI 2021.

Exemple en contexte

Un DAG Airflow envoie automatiquement OpenLineage events à Marquez à chaque task run.

Termes liés

• Marquez — backend de référence.