-
In this course, you will dive deep into the world of BigQuery and learn best practices for designing, optimizing and managing a powerful data warehouse.
Through a mix of lectures, demonstrations and hands-on exercises, you will discover the architecture of BigQuery and learn how to develop efficient storage solutions and schemas for data ingestion and update. You will also gain valuable insights into techniques for improving read performance, optimizing queries and managing workloads effectively. You will use logging and monitoring tools to keep an eye on your systems and learn about BigQuery's different pricing models to optimize your costs.</p
In addition, you will learn how to securely protect data, automate workloads and create machine learning models with BigQuery ML. This course provides everything you need to unlock the full potential of BigQuery!
-
Course Contents
-
- BigQuery Architecture Fundamentals
- Storage and Schema Optimizations
- Ingesting Data
- Changing Data
- Improving Read Performance
- Optimizing and Troubleshooting Queries
- Workload Management and Pricing
- Logging and Monitoring
- Security in BigQuery
- Automating Workloads
- Machine Learning in BigQuery
What you'll learn:
- Describe BigQuery architecture fundamentals.
- Implement storage and schema design patterns to improve performance.
- Use DML and schedule data transfers to ingest data.
- Apply best practices to improve read efficiency and optimize query performance.
- Manage capacity and automate workloads.
- Understand patterns versus anti-patterns to optimize queries and improve read performance.
- Use logging and monitoring tools to understand and optimize usage patterns.
- Apply security best practices to govern data and resources.Build and deploy several categories of machine learning models with BigQuery ML.
Official Google Cloud documentation.
-
Target Group
-
- Database administrators
- Data analysts
- Cloud engineers
- IT architects
- Data scientists
- Decision makers
-
Knowledge Prerequisites
-
Basics of big data and machine learning.
| Grundlagen der BigQuery-Architektur |
| Einführung |
| BigQuery-Kerninfrastruktur |
| BigQuery-Speicher |
| BigQuery-Abfrageverarbeitung |
| BigQuery-Daten-Mischung |
| Erläutern Sie die Vorteile der säulenförmigen Speicherung. |
| Verstehen, wie BigQuery Daten verarbeitet. |
| Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern. |
| Labore und Demos |
| Speicher- und Schema-Optimierungen |
| BigQuery-Speicher |
| Partitionierung und Clustering |
| Verschachtelte und wiederholte Felder |
| ARRAY- und STRUCT-Syntax |
| Bewährte Praktiken |
| Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder). |
| Partitionieren und Clustern von Daten für bessere Leistung |
| Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder. |
| Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen |
| Labore und Demos |
| Dateneingabe |
| Data Ingestion Options |
| Batch-Ingestion |
| Streaming-Ingestion |
| Veraltete Streaming-API |
| BigQuery-Speicher-Schreib-API |
| Materialisierung von Abfragen |
| Abfrage externer Datenquellen |
| Datenübertragungsdienst |
| Aufnahme von Batch- und Streaming-Daten. |
| Abfrage externer Datenquellen. |
| Planen Sie Datenübertragungen. |
| Verstehen, wie man die Storage Write API verwendet. |
| Labore und Demos |
| Ändern von Daten |
| Verwaltung von Änderungen in Data Warehouses |
| Umgang mit sich langsam ändernden Abmessungen (SCD) |
| DML-Anweisungen |
| DML Best Practices und häufige Probleme |
| DML-Anweisungen schreiben. |
| Behebung häufiger DML-Leistungsprobleme und Engpässe. |
| Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor. |
| Verbesserung der Leseleistung |
| BigQuery’s Cache |
| Materialisierte Ansichten |
| BI-Engine |
| Hoher Lesedurchsatz |
| BigQuery-Speicher-Lese-API |
| Erforschen Sie den Cache von BigQuery. |
| Erstellen Sie materialisierte Ansichten. |
| Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen. |
| Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher. |
| Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen. |
| Labore und Demos |
| Optimierung und Fehlerbehebung von Abfragen |
| Einfache Abfrage-Ausführung |
| SELECTs und Aggregation |
| JOINs und Skewed JOINs |
| Filtern und Ordnen |
| Bewährte Praktiken für Funktionen |
| Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan. |
| Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln. |
| Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen. |
| Labore und Demos |
| Arbeitslastmanagement und Preisgestaltung |
| BigQuery-Steckplätze |
| Preismodelle und Schätzungen |
| Slot-Reservierungen |
| Kostenkontrolle |
| Definieren Sie einen BigQuery-Slot. |
| Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API). |
| Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen. |
| Ermittlung der besten Praktiken zur Kostenkontrolle. |
| Demos |
| Protokollierung und Überwachung |
| Cloud-Überwachung |
| BigQuery-Verwaltungsbereich |
| Cloud Audit Logs |
| INFORMATION_SCHEMA |
| Abfragepfad und häufige Fehler |
| Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen. |
| Erkunden Sie das BigQuery-Verwaltungsfeld. |
| Verwenden Sie Cloud Audit-Protokolle. |
| Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten. |
| Labore und Demos |
| Sicherheit in BigQuery |
| Sichere Ressourcen mit IAM |
| Autorisierte Ansichten |
| Sichere Daten durch Klassifizierung |
| Verschlüsselung |
| Datenermittlung und -verwaltung |
| Erkunden Sie die Datenerkennung mit Data Catalog. |
| Erörterung der Datenverwaltung mit DLP API und Datenkatalog. |
| Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern. |
| Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene). |
| Verstehen, wie BigQuery Verschlüsselung verwendet. |
| Labore und Demos |
| Modul 10 Automatisieren von Arbeitsbelastungen |
| Terminierungsabfragen |
| Skripting |
| Gespeicherte Prozeduren |
| Integration mit Big Data-Produkten |
| Zeitplanabfragen. |
| Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen. |
| Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können. |
| Demos |
| Maschinelles Lernen in BigQuery |
| Einführung in BigQuery ML |
| Wie man mit BigQuery ML Vorhersagen macht |
| Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt |
| Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML |
| Zeitreihenmodelle mit BigQuery ML |
| BigQuery ML-Erklärbarkeit |
| Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML. |
| Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML. |
| Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme. |
| Labore und Demos |
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.-
In this course, you will dive deep into the world of BigQuery and learn best practices for designing, optimizing and managing a powerful data warehouse.
Through a mix of lectures, demonstrations and hands-on exercises, you will discover the architecture of BigQuery and learn how to develop efficient storage solutions and schemas for data ingestion and update. You will also gain valuable insights into techniques for improving read performance, optimizing queries and managing workloads effectively. You will use logging and monitoring tools to keep an eye on your systems and learn about BigQuery's different pricing models to optimize your costs.</p
In addition, you will learn how to securely protect data, automate workloads and create machine learning models with BigQuery ML. This course provides everything you need to unlock the full potential of BigQuery!
-
Course Contents
-
- BigQuery Architecture Fundamentals
- Storage and Schema Optimizations
- Ingesting Data
- Changing Data
- Improving Read Performance
- Optimizing and Troubleshooting Queries
- Workload Management and Pricing
- Logging and Monitoring
- Security in BigQuery
- Automating Workloads
- Machine Learning in BigQuery
What you'll learn:
- Describe BigQuery architecture fundamentals.
- Implement storage and schema design patterns to improve performance.
- Use DML and schedule data transfers to ingest data.
- Apply best practices to improve read efficiency and optimize query performance.
- Manage capacity and automate workloads.
- Understand patterns versus anti-patterns to optimize queries and improve read performance.
- Use logging and monitoring tools to understand and optimize usage patterns.
- Apply security best practices to govern data and resources.Build and deploy several categories of machine learning models with BigQuery ML.
Official Google Cloud documentation.
-
Target Group
-
- Database administrators
- Data analysts
- Cloud engineers
- IT architects
- Data scientists
- Decision makers
-
Knowledge Prerequisites
-
Basics of big data and machine learning.
| Grundlagen der BigQuery-Architektur |
| Einführung |
| BigQuery-Kerninfrastruktur |
| BigQuery-Speicher |
| BigQuery-Abfrageverarbeitung |
| BigQuery-Daten-Mischung |
| Erläutern Sie die Vorteile der säulenförmigen Speicherung. |
| Verstehen, wie BigQuery Daten verarbeitet. |
| Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern. |
| Labore und Demos |
| Speicher- und Schema-Optimierungen |
| BigQuery-Speicher |
| Partitionierung und Clustering |
| Verschachtelte und wiederholte Felder |
| ARRAY- und STRUCT-Syntax |
| Bewährte Praktiken |
| Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder). |
| Partitionieren und Clustern von Daten für bessere Leistung |
| Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder. |
| Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen |
| Labore und Demos |
| Dateneingabe |
| Data Ingestion Options |
| Batch-Ingestion |
| Streaming-Ingestion |
| Veraltete Streaming-API |
| BigQuery-Speicher-Schreib-API |
| Materialisierung von Abfragen |
| Abfrage externer Datenquellen |
| Datenübertragungsdienst |
| Aufnahme von Batch- und Streaming-Daten. |
| Abfrage externer Datenquellen. |
| Planen Sie Datenübertragungen. |
| Verstehen, wie man die Storage Write API verwendet. |
| Labore und Demos |
| Ändern von Daten |
| Verwaltung von Änderungen in Data Warehouses |
| Umgang mit sich langsam ändernden Abmessungen (SCD) |
| DML-Anweisungen |
| DML Best Practices und häufige Probleme |
| DML-Anweisungen schreiben. |
| Behebung häufiger DML-Leistungsprobleme und Engpässe. |
| Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor. |
| Verbesserung der Leseleistung |
| BigQuery’s Cache |
| Materialisierte Ansichten |
| BI-Engine |
| Hoher Lesedurchsatz |
| BigQuery-Speicher-Lese-API |
| Erforschen Sie den Cache von BigQuery. |
| Erstellen Sie materialisierte Ansichten. |
| Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen. |
| Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher. |
| Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen. |
| Labore und Demos |
| Optimierung und Fehlerbehebung von Abfragen |
| Einfache Abfrage-Ausführung |
| SELECTs und Aggregation |
| JOINs und Skewed JOINs |
| Filtern und Ordnen |
| Bewährte Praktiken für Funktionen |
| Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan. |
| Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln. |
| Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen. |
| Labore und Demos |
| Arbeitslastmanagement und Preisgestaltung |
| BigQuery-Steckplätze |
| Preismodelle und Schätzungen |
| Slot-Reservierungen |
| Kostenkontrolle |
| Definieren Sie einen BigQuery-Slot. |
| Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API). |
| Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen. |
| Ermittlung der besten Praktiken zur Kostenkontrolle. |
| Demos |
| Protokollierung und Überwachung |
| Cloud-Überwachung |
| BigQuery-Verwaltungsbereich |
| Cloud Audit Logs |
| INFORMATION_SCHEMA |
| Abfragepfad und häufige Fehler |
| Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen. |
| Erkunden Sie das BigQuery-Verwaltungsfeld. |
| Verwenden Sie Cloud Audit-Protokolle. |
| Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten. |
| Labore und Demos |
| Sicherheit in BigQuery |
| Sichere Ressourcen mit IAM |
| Autorisierte Ansichten |
| Sichere Daten durch Klassifizierung |
| Verschlüsselung |
| Datenermittlung und -verwaltung |
| Erkunden Sie die Datenerkennung mit Data Catalog. |
| Erörterung der Datenverwaltung mit DLP API und Datenkatalog. |
| Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern. |
| Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene). |
| Verstehen, wie BigQuery Verschlüsselung verwendet. |
| Labore und Demos |
| Modul 10 Automatisieren von Arbeitsbelastungen |
| Terminierungsabfragen |
| Skripting |
| Gespeicherte Prozeduren |
| Integration mit Big Data-Produkten |
| Zeitplanabfragen. |
| Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen. |
| Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können. |
| Demos |
| Maschinelles Lernen in BigQuery |
| Einführung in BigQuery ML |
| Wie man mit BigQuery ML Vorhersagen macht |
| Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt |
| Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML |
| Zeitreihenmodelle mit BigQuery ML |
| BigQuery ML-Erklärbarkeit |
| Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML. |
| Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML. |
| Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme. |
| Labore und Demos |
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.