Documentation Apache Spark
- Apache Spark, Spark 3.5.7 Documentation. Documentation de référence utilisée pour le chapitre.
- Apache Spark, RDD Programming Guide. Création des RDD, transformations, actions, partitions et opérations de shuffle.
- Apache Spark, Spark SQL, DataFrames and Datasets Guide. Schémas, DataFrames, requêtes SQL et optimisation des plans.
- Apache Spark, Cluster Mode Overview. Rôle du driver, des workers et des executors.
- Apache Spark, PySpark DataFrame API, SQL functions et Window API. Référence des opérations PySpark utilisées dans le notebook.
Articles et retours d’expérience
- Michael Armbrust et al., Spark SQL: Relational Data Processing in Spark, SIGMOD 2015. Présentation de Spark SQL, des DataFrames et de l’optimiseur Catalyst.
- Michael Armbrust et al., Deep Dive into Spark SQL’s Catalyst Optimizer, Databricks, 2015. Fonctionnement de l’analyse et de l’optimisation des plans.
- Facebook Engineering, Apache Spark @Scale: A 60 TB+ Production Use Case, 2016. Traitement de données à grande échelle et optimisation d’un pipeline.
- eBay, Explore eBay’s New Optimized Spark SQL Engine for Interactive Analysis. Retour d’expérience sur l’analyse interactive avec Spark SQL.
- Uber Engineering, Uber’s Big Data Platform: 100+ Petabytes with Minute Latency. Présentation de la plateforme de données d’Uber.
- Netflix Technology Blog, Bulldozer: Batch Data Moving from Data Warehouse to Online Key-Value Stores. Retour d’expérience sur les traitements batch de Netflix.
- Salesforce Engineering, Big Data Processing: Driving Data Migration for Salesforce Data Cloud. Présentation d’un cas de migration et de traitement de données.
- Criteo Engineering, Under the Hood of Spark Performance, or Why Query Compilation Matters. Analyse de la compilation des requêtes Spark.