In diesem Kurs lernen die Teilnehmer die Data Engineering-Muster und -Praktiken im Zusammenhang mit der Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien kennen. Die Teilnehmer lernen zunächst die zentralen Rechen- und Speichertechnologien kennen, die zum Erstellen einer analytischen Lösung verwendet werden. Anschließend werden sie untersuchen, wie analytische Serving-Layer entworfen werden, und sich auf Data Engineering-Überlegungen für die Arbeit mit Quelldateien konzentrieren.

Nach Abschluss dieses Seminars haben die Teilnehmer Wissen zu folgenden Themen:

    compute und storage Optionen für Data Engineering
    design und Implementierung von den serving layer
    Überlegungen zum Data Engineering verstehen
    run interactive queries using serverless SQL pools
    Untersuchung, Transformation und das Laden von Daten in das Data Warehouse mit Apache Spark
    perform data Exploration and Transformation in Azure Databricks
    ingest and load Data into the Data Warehouse
    Transformation von Data with Azure Data Factory or Azure Synapse Pipelines
    Optimalisation Query Performance mit den Dedicated SQL Pools in Azure Synapse
    Analyse und Optimalisierung von Data Warehouse Storage
    Unterstützung von der Hybrid Transactional Analytical Processing (HTAP) mit der Azure Synapse Link
    Führung end-to-end Sicherheit mit der Azure Synapse Analytics
    Durchführung von der real-time Stream Processing mit der Stream Analytics
    Erstellung von der Stream Processing Solution mithilfe der Event Hubs und mit der Azure Databricks
    Erstellung von den reports mithilfe Power BI integration mit Azure Synpase Analytics
    Führung von den Integrated Machine Learning Processes in Azure Synapse Analytics

Dieses Seminar richtet sich an:

 Datenexperten, Datenarchitekten und Business-Intelligence-Experten geeignet, die mehr über Data Engineering und das Erstellen von Analyselösungen mit Datenplattformtechnologien erfahren möchten 
 Die sekundäre Zielgruppe für diesen Kurs sind Datenanalysten und Datenwissenschaftler, die mit Analyselösungen arbeiten, die auf Microsoft Azure basieren.

Für dieses Seminar werden folgende Vorkenntnisse empfohlen:
Die Kenntnisse zu Cloud Computing und Kerndatenkonzepten sowie Berufserfahrung mit Datenlösungen sind notwendig
 
Folgende Seminare werden zur Vorbereitung empfohlen:
AZ-900 – Microsoft Azure Fundamentals
DP-900 – Microsoft Azure Data Fundamentals

Explore compute and storage options for data engineering workloads

    Introduction to Azure Synapse Analytics
    Describe Azure Databricks
    Introduction to Azure Data Lake storage
    Describe Delta Lake architecture
    Work with data streams by using Azure Stream Analytics

Lab: Explore compute and storage options for data engineering workloads

Design and implement the serving layer

    Design a multidimensional schema to optimize analytical workloads
    Code-free transformation at scale with Azure Data Factory
    Populate slowly changing dimensions in Azure Synapse Analytics pipelines

Lab: Designing and Implementing the Serving Layer

Data engineering considerations for source files

    Design a Modern Data Warehouse using Azure Synapse Analytics
    Secure a data warehouse in Azure Synapse Analytics

Lab: Data engineering considerations

Run interactive queries using Azure Synapse Analytics serverless SQL pools

    Explore Azure Synapse serverless SQL pools capabilities
    Query data in the lake using Azure Synapse serverless SQL pools
    Create metadata objects in Azure Synapse serverless SQL pools
    Secure data and manage users in Azure Synapse serverless SQL pools

Lab: Run interactive queries using serverless SQL pools

Explore, transform, and load data into the Data Warehouse using Apache Spark

    Understand big data engineering with Apache Spark in Azure Synapse Analytics
    Ingest data with Apache Spark notebooks in Azure Synapse Analytics
    Transform data with DataFrames in Apache Spark Pools in Azure Synapse Analytics
    Integrate SQL and Apache Spark pools in Azure Synapse Analytics

Lab: Explore, transform, and load data into the Data Warehouse using Apache Spark

Data exploration and transformation in Azure Databricks

    Describe Azure Databricks
    Read and write data in Azure Databricks
    Work with DataFrames in Azure Databricks
    Work with DataFrames advanced methods in Azure Databricks

Lab: Data Exploration and Transformation in Azure Databricks

Ingest and load data into the data warehouse

    Use data loading best practices in Azure Synapse Analytics
    Petabyte-scale ingestion with Azure Data Factory

Lab: Ingest and load Data into the Data Warehouse

Transform data with Azure Data Factory or Azure Synapse Pipelines

    Data integration with Azure Data Factory or Azure Synapse Pipelines
    Code-free transformation at scale with Azure Data Factory or Azure Synapse Pipelines

Lab: Transform Data with Azure Data Factory or Azure Synapse Pipelines

Orchestrate data movement and transformation in Azure Synapse Pipelines

    Orchestrate data movement and transformation in Azure Data Factory

Lab: Orchestrate data movement and transformation in Azure Synapse Pipelines

Optimize query performance with dedicated SQL pools in Azure Synapse

    Optimize data warehouse query performance in Azure Synapse Analytics
    Understand data warehouse developer features of Azure Synapse Analytics

Lab: Optimize Query Performance with Dedicated SQL Pools in Azure Synapse

Analyze and Optimize Data Warehouse Storage

    Analyze and optimize data warehouse storage in Azure Synapse Analytics

Lab: Analyze and Optimize Data Warehouse Storage

Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link

    Design hybrid transactional and analytical processing using Azure Synapse Analytics
    Configure Azure Synapse Link with Azure Cosmos DB
    Query Azure Cosmos DB with Apache Spark pools
    Query Azure Cosmos DB with serverless SQL pools

Lab: Support Hybrid Transactional Analytical Processing (HTAP) with Azure Synapse Link

End-to-end security with Azure Synapse Analytics

    Secure a data warehouse in Azure Synapse Analytics
    Configure and manage secrets in Azure Key Vault
    Implement compliance controls for sensitive data

Lab: End-to-end security with Azure Synapse Analytics

Real-time Stream Processing with Stream Analytics

    Enable reliable messaging for Big Data applications using Azure Event Hubs
    Work with data streams by using Azure Stream Analytics
    Ingest data streams with Azure Stream Analytics

Lab: Real-time Stream Processing with Stream Analytics

Create a Stream Processing Solution with Event Hubs and Azure Databricks

    Process streaming data with Azure Databricks structured streaming

Lab: Create a Stream Processing Solution with Event Hubs and Azure Databricks

Build reports using Power BI integration with Azure Synapase Analytics

 Create reports with Power BI using its integration with Azure Synapse Analytics

Lab: Build reports using Power BI integration with Azure Synapase Analytics

Perform Integrated Machine Learning Processes in Azure Synapse Analytics

Use the integrated machine learning process in Azure Synapse Analytics

Lab: Perform Integrated Machine Learning Processes in Azure Synapse Analytics