-
In this one-day course, you will gain a compact insight into data engineering in the Google Cloud. You will learn about the key tasks and responsibilities of data engineers and how these are linked to the most important Google Cloud offerings. You will also receive practical tips on how to efficiently tackle typical challenges in data engineering.
-
Course Contents
-
- Data engineering tasks and components
- Data replication and migration
- The pipeline pattern for extracting and loading data
- The pipeline pattern for extracting, loading, and transforming data
- The pipeline pattern for extracting, transforming, and loading data
- Automation techniques
-
Target Group
-
- Data engineers
- Database administrators
- System administrators
-
Knowledge Prerequisites
-
- Basic experience with Google Cloud using Cloud Shell and accessing products through the Google Cloud Console.
- Basic knowledge of a common query language such as SQL.
- Experience with data modeling and ETL activities (extract, transform, load).
- Experience in developing applications with a common programming language such as Python.
-
Course Objective
-
- Understand the role of a data engineer
- Identify data engineering tasks and core components used in Google Cloud.
- Understand how to create and deploy data pipelines with different patterns in Google Cloud.
- Identify and use different automation techniques in Google Cloud.
-
Complementary and Continuative Courses
-
- Building Batch Data Pipelines on Google Cloud
- Building Resilient Streaming Analytics Systems on Google Cloud
Introduction to AI and Machine Learning on Google Cloud
| Data-Engineering-Aufgaben und -Komponenten |
| Themen: |
| Die Rolle des Dateningenieurs |
| Datenquellen versus Datensenken |
| Datenformate |
| Optionen für Speicherlösungen in der Google Cloud |
| Optionen für die Verwaltung von Metadaten in der Google Cloud |
| Gemeinsame Nutzung von Datensätzen mit Analytics Hub |
| Zielsetzungen: |
| Erklären Sie die Rolle eines Dateningenieurs. |
| die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen. |
| Erklären Sie die verschiedenen Arten von Datenformaten. |
| Erklären Sie die Optionen für Speicherlösungen in der Google Cloud. |
| Erfahren Sie mehr über die Möglichkeiten der Metadatenverwaltung in Google Cloud. |
| Verstehen Sie, wie Sie mit Analytics Hub problemlos Datensätze gemeinsam nutzen können. |
| Verstehen, wie man Daten mit der Google Cloud-Konsole oder der gcloud CLI in BigQuery lädt. |
| Aktivitäten: |
| Übung: Laden von Daten in BigQuery |
| Quiz |
| Datenreplikation und -migration |
| Themen: |
| Replikations- und Migrationsarchitektur |
| Das gcloud-Befehlszeilenwerkzeug |
| Verschieben von Datensätzen |
| Datastream |
| Zielsetzungen: |
| Erklären Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud. |
| die Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool zu verstehen. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle des Speicherübertragungsdienstes. |
| Erläutern Sie die Funktionen und Anwendungsfälle der Transfer Appliance. |
| Verstehen Sie die Funktionen und den Einsatz von Datastream. |
| Aktivitäten: |
| Labor: Datastream: PostgreSQL-Replikation zu BigQuery (optional für ILT) |
| Quiz |
| Das Pipeline-Muster zum Extrahieren und Laden von Daten |
| Themen: |
| Architektur extrahieren und laden |
| Das bq-Befehlszeilenwerkzeug |
| BigQuery-Datenübertragungsdienst |
| BigLake |
| Zielsetzungen: |
| Erläutern Sie das Diagramm der Grundlinienextraktion und -lastarchitektur. |
| die Optionen des Befehlszeilenprogramms bq verstehen. |
| Erläutern Sie die Funktionen und Anwendungsfälle für den BigQuery Data Transfer Service. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle für BigLake als Nicht-Extract-Load-Muster. |
| Aktivitäten: |
| Labor: BigLake: Qwik Start |
| Quiz |
| Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten |
| Themen: |
| Architektur zum Extrahieren, Laden und Umwandeln (ELT) |
| SQL-Skripterstellung und Zeitplanung mit BigQuery |
| Datenformular |
| Zielsetzungen: |
| Erläutern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur. |
| Verstehen Sie eine gängige ELT-Pipeline in der Google Cloud. |
| Erfahren Sie mehr über die SQL-Skripterstellung und die Planungsfunktionen von BigQuery. |
| Erläutern Sie die Funktionen und Anwendungsfälle von Dataform. |
| Aktivitäten: |
| Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform |
| Quiz |
| Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten |
| Themen: |
| Architektur des Extrahierens, Transformierens und Ladens (ETL) |
| Google Cloud GUI-Tools für ETL-Datenpipelines |
| Batch-Datenverarbeitung mit Dataproc |
| Optionen für die Verarbeitung von Streaming-Daten |
| Bigtable und Datenpipelines |
| Zielsetzungen: |
| Erläutern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur. |
| Lernen Sie die GUI-Tools von Google Cloud kennen, die für ETL-Datenpipelines verwendet werden. |
| Erläutern Sie die Batch-Datenverarbeitung mit Dataproc. |
| Erfahren Sie, wie Sie Dataproc Serverless for Spark für ETL verwenden können. |
| Erläutern Sie die Möglichkeiten der Streaming-Datenverarbeitung. |
| Erklären Sie, welche Rolle Bigtable in Datenpipelines spielt. |
| Aktivitäten: |
| Übung: Verwenden von Dataproc Serverless for Spark zum Laden von BigQuery (optional für ILT) |
| Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow |
| Quiz |
| Automation Techniques |
| Themen: |
| Automatisierungsmuster und Optionen für Pipelines |
| Cloud Scheduler und Arbeitsabläufe |
| Cloud-Komponist |
| Cloud Run-Funktionen |
| Eventarc |
| Zielsetzungen: |
| Erklären Sie die Automatisierungsmuster und -optionen, die für Pipelines verfügbar sind. |
| Erfahren Sie mehr über Cloud Scheduler und Workflows. |
| Erfahren Sie mehr über Cloud Composer. |
| Lernen Sie die Funktionen von Cloud Run kennen. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle der Automatisierung von Eventarc. |
| Aktivitäten: |
| Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery (optional für ILT) |
| Quiz |
You are interested in a certification? The course at hand is part of the following certification(s):
Certification as Associate Data Practitioner – Google Cloud Associate-Zertifizierung
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.-
In this one-day course, you will gain a compact insight into data engineering in the Google Cloud. You will learn about the key tasks and responsibilities of data engineers and how these are linked to the most important Google Cloud offerings. You will also receive practical tips on how to efficiently tackle typical challenges in data engineering.
-
Course Contents
-
- Data engineering tasks and components
- Data replication and migration
- The pipeline pattern for extracting and loading data
- The pipeline pattern for extracting, loading, and transforming data
- The pipeline pattern for extracting, transforming, and loading data
- Automation techniques
-
Target Group
-
- Data engineers
- Database administrators
- System administrators
-
Knowledge Prerequisites
-
- Basic experience with Google Cloud using Cloud Shell and accessing products through the Google Cloud Console.
- Basic knowledge of a common query language such as SQL.
- Experience with data modeling and ETL activities (extract, transform, load).
- Experience in developing applications with a common programming language such as Python.
-
Course Objective
-
- Understand the role of a data engineer
- Identify data engineering tasks and core components used in Google Cloud.
- Understand how to create and deploy data pipelines with different patterns in Google Cloud.
- Identify and use different automation techniques in Google Cloud.
-
Complementary and Continuative Courses
-
- Building Batch Data Pipelines on Google Cloud
- Building Resilient Streaming Analytics Systems on Google Cloud
Introduction to AI and Machine Learning on Google Cloud
| Data-Engineering-Aufgaben und -Komponenten |
| Themen: |
| Die Rolle des Dateningenieurs |
| Datenquellen versus Datensenken |
| Datenformate |
| Optionen für Speicherlösungen in der Google Cloud |
| Optionen für die Verwaltung von Metadaten in der Google Cloud |
| Gemeinsame Nutzung von Datensätzen mit Analytics Hub |
| Zielsetzungen: |
| Erklären Sie die Rolle eines Dateningenieurs. |
| die Unterschiede zwischen einer Datenquelle und einer Datensenke zu verstehen. |
| Erklären Sie die verschiedenen Arten von Datenformaten. |
| Erklären Sie die Optionen für Speicherlösungen in der Google Cloud. |
| Erfahren Sie mehr über die Möglichkeiten der Metadatenverwaltung in Google Cloud. |
| Verstehen Sie, wie Sie mit Analytics Hub problemlos Datensätze gemeinsam nutzen können. |
| Verstehen, wie man Daten mit der Google Cloud-Konsole oder der gcloud CLI in BigQuery lädt. |
| Aktivitäten: |
| Übung: Laden von Daten in BigQuery |
| Quiz |
| Datenreplikation und -migration |
| Themen: |
| Replikations- und Migrationsarchitektur |
| Das gcloud-Befehlszeilenwerkzeug |
| Verschieben von Datensätzen |
| Datastream |
| Zielsetzungen: |
| Erklären Sie die grundlegende Datenreplikations- und Migrationsarchitektur der Google Cloud. |
| die Optionen und Anwendungsfälle für das gcloud-Befehlszeilentool zu verstehen. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle des Speicherübertragungsdienstes. |
| Erläutern Sie die Funktionen und Anwendungsfälle der Transfer Appliance. |
| Verstehen Sie die Funktionen und den Einsatz von Datastream. |
| Aktivitäten: |
| Labor: Datastream: PostgreSQL-Replikation zu BigQuery (optional für ILT) |
| Quiz |
| Das Pipeline-Muster zum Extrahieren und Laden von Daten |
| Themen: |
| Architektur extrahieren und laden |
| Das bq-Befehlszeilenwerkzeug |
| BigQuery-Datenübertragungsdienst |
| BigLake |
| Zielsetzungen: |
| Erläutern Sie das Diagramm der Grundlinienextraktion und -lastarchitektur. |
| die Optionen des Befehlszeilenprogramms bq verstehen. |
| Erläutern Sie die Funktionen und Anwendungsfälle für den BigQuery Data Transfer Service. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle für BigLake als Nicht-Extract-Load-Muster. |
| Aktivitäten: |
| Labor: BigLake: Qwik Start |
| Quiz |
| Das Pipeline-Muster zum Extrahieren, Laden und Transformieren von Daten |
| Themen: |
| Architektur zum Extrahieren, Laden und Umwandeln (ELT) |
| SQL-Skripterstellung und Zeitplanung mit BigQuery |
| Datenformular |
| Zielsetzungen: |
| Erläutern Sie das Grundschema der Extraktions-, Lade- und Transformationsarchitektur. |
| Verstehen Sie eine gängige ELT-Pipeline in der Google Cloud. |
| Erfahren Sie mehr über die SQL-Skripterstellung und die Planungsfunktionen von BigQuery. |
| Erläutern Sie die Funktionen und Anwendungsfälle von Dataform. |
| Aktivitäten: |
| Übung: Erstellen und Ausführen eines SQL-Workflows in Dataform |
| Quiz |
| Das Pipeline-Muster zum Extrahieren, Transformieren und Laden von Daten |
| Themen: |
| Architektur des Extrahierens, Transformierens und Ladens (ETL) |
| Google Cloud GUI-Tools für ETL-Datenpipelines |
| Batch-Datenverarbeitung mit Dataproc |
| Optionen für die Verarbeitung von Streaming-Daten |
| Bigtable und Datenpipelines |
| Zielsetzungen: |
| Erläutern Sie das Grundschema der Extraktions-, Transformations- und Ladearchitektur. |
| Lernen Sie die GUI-Tools von Google Cloud kennen, die für ETL-Datenpipelines verwendet werden. |
| Erläutern Sie die Batch-Datenverarbeitung mit Dataproc. |
| Erfahren Sie, wie Sie Dataproc Serverless for Spark für ETL verwenden können. |
| Erläutern Sie die Möglichkeiten der Streaming-Datenverarbeitung. |
| Erklären Sie, welche Rolle Bigtable in Datenpipelines spielt. |
| Aktivitäten: |
| Übung: Verwenden von Dataproc Serverless for Spark zum Laden von BigQuery (optional für ILT) |
| Übung: Erstellen einer Streaming-Datenpipeline für ein Echtzeit-Dashboard mit Dataflow |
| Quiz |
| Automation Techniques |
| Themen: |
| Automatisierungsmuster und Optionen für Pipelines |
| Cloud Scheduler und Arbeitsabläufe |
| Cloud-Komponist |
| Cloud Run-Funktionen |
| Eventarc |
| Zielsetzungen: |
| Erklären Sie die Automatisierungsmuster und -optionen, die für Pipelines verfügbar sind. |
| Erfahren Sie mehr über Cloud Scheduler und Workflows. |
| Erfahren Sie mehr über Cloud Composer. |
| Lernen Sie die Funktionen von Cloud Run kennen. |
| Erläutern Sie die Funktionalität und die Anwendungsfälle der Automatisierung von Eventarc. |
| Aktivitäten: |
| Übung: Verwenden von Cloud Run Functions zum Laden von BigQuery (optional für ILT) |
| Quiz |
You are interested in a certification? The course at hand is part of the following certification(s):
Certification as Associate Data Practitioner – Google Cloud Associate-Zertifizierung
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.