Home » Advanced Apache Spark for Data Engineers

Advanced Apache Spark for Data Engineers

Verdiep je kennis van Apache Spark om je dataworkflow te optimaliseren
Studie-investeringsformulier
Terug naar overzicht

Cursusbeschrijving

In deze cursus leer je technieken en best practices voor het optimaliseren van Apache Spark-toepassingen. Je bestudeert de architectonische elementen van Spark en werkt met de Spark UI. Je identificeert en pakt veelvoorkomende prestatieproblemen veroorzaakt door shuffles en skew aan. Daarnaast leer je geavanceerde optimalisatiestrategieën voor join-, union- en merge-operaties, gegevensformaten, cachingmechanismen, garbage collector-instellingen, gegevenspartitionering, bucketing en Delta Lake-optimalisaties. Je verkent ook reguliere onderhoudstaken voor Spark-toepassingen en leert hoe je Spark-sessieconfiguraties kunt aanpassen voor optimale prestaties.

Onderwerpen

  • Introduction to Spark Architecture and Ecosystem
  • Understanding the Spark UI
  • Common Performance Issues in Spark
  • Optimizing Data Operations in Spark
  • Data Formats and Performance
  • Caching and Garbage Collection in Spark
  • Data Partitioning and Bucketing
  • Delta Lake Optimizations
  • Maintenance of Spark Applications
  • Customizing Spark Session Configurations

    • Materiaal

    Digitaal Info Support cursusmateriaal

    Voorkennis

    Python Apache Spark Fundamentals