Apache Arrow Flight

RPC haute performance basé Arrow + gRPC.

Définition

Arrow Flight gRPC service exposes 5 methods : GetStream, DoGet (download), DoPut (upload), DoExchange (bidirectional), ListFlights, GetFlightInfo. Format columnar Apache Arrow IPC stream. Performance 10-100x supérieure à JDBC/ODBC. Flight SQL ajoute SQL semantics (statements, prepared statements, results). Flight RPC adopté Dremio, InfluxDB IOx, ChromaDB, Snowflake, BigQuery, Apache Spark, DuckDB.

Origine

Apache Arrow project (Dremio + Wes McKinney, Apache Software Foundation top-level 2016), Flight introduit 2019, Flight SQL 2022.

Usage

Évolution moderne du transfer de données analytics. Remplace progressivement JDBC/ODBC dans nouveaux outils data.

Termes liés

• Apache Arrow — fiche socle.
• Arrow Flight SQL — évolution SQL.
• gRPC — transport sous-jacent.