OpenLineage V2

Spec OpenLineage stable Linux Foundation 2023+.

Définition

OpenLineage event format JSON : RunEvent { eventType, eventTime, run, job, inputs, outputs, producer, schemaURL }. Facets pour metadata extensible (columnLineage, schema, dataSource, ownership, dataQuality, sql). Integrations natives Apache Airflow (depuis 2.7), Apache Spark, dbt, Flink, Dagster. Backend : Marquez (Linux Foundation), Atlan, OpenMetadata, DataHub (LinkedIn).

Origine

Datakin (Julien Le Dem) 2021, donation Linux Foundation AI & Data Foundation 2023.

Usage

Standard émergent data lineage cross-tool. Concurrent OpenMetadata événements et DataHub MCEs.

Termes liés

• OpenLineage — fiche socle.
• Marquez — backend référence.
• Data lineage — concept générique.