Google Cloud Logo

Data Warehousing with BigQuery: Storage Design, Query Optimisation, and Administration

Google Cloud Logo

In diesem Kurs tauchen Sie tief in die Welt von BigQuery ein und erlernen Best Practices für den Entwurf, die Optimierung und die Verwaltung eines leistungsstarken Data Warehouses.

Durch eine Mischung aus Vorträgen, Demonstrationen und praktischen Übungen entdecken Sie die Architektur von BigQuery und lernen, wie Sie effiziente Speicherlösungen und Schemata für die Dateneingabe und -aktualisierung entwickeln. Darüber hinaus erhalten Sie wertvolle Einblicke in Techniken zur Verbesserung der Leseleistung, zur Optimierung von Abfragen und zur effektiven Verwaltung von Arbeitslasten. Sie nutzen Protokollierungs- und Überwachungstools, um Ihre Systeme stets im Blick zu behalten, und lernen die verschiedenen Preismodelle von BigQuery kennen, um Ihre Kosten zu optimieren.

Zusätzlich erfahren Sie, wie Sie Daten sicher schützen, Arbeitslasten automatisieren und mit BigQuery ML Machine-Learning-Modelle erstellen können. Dieser Kurs bietet alles, was Sie brauchen, um das volle Potenzial von BigQuery auszuschöpfen!

Kursinhalt

  • Grundlagen der BigQuery-Architektur
  • Speicher- und Schema-Optimierungen
  • Aufnahme von Daten
  • Ändern von Daten
  • Verbesserung der Leseleistung
  • Optimieren und Fehlerbehebung von Abfragen
  • Arbeitslastmanagement und Preisgestaltung
  • Protokollierung und Überwachung
  • Sicherheit in BigQuery
  • Automatisieren von Arbeitsbelastungen
  • Maschinelles Lernen in BigQuer

In diesem Kurs erwerben Sie die folgenden Fähigkeiten:

  • Beschreiben Sie die Grundlagen der BigQuery-Architektur.
  • Implementierung von Speicher- und Schemaentwurfsmustern zur Verbesserung der Leistung.
  • Verwenden Sie DML und planen Sie Datenübertragungen zum Einlesen von Daten.
  • Anwendung bewährter Verfahren zur Verbesserung der Leseeffizienz und Optimierung der Abfrageleistung.
  • Verwalten Sie Kapazitäten und automatisieren Sie Arbeitslasten.
  • Verstehen von Mustern und Anti-Mustern zur Optimierung von Abfragen und Verbesserung der Leseleistung.
  • Verwenden Sie Protokollierungs- und Überwachungstools, um Nutzungsmuster zu verstehen und zu optimieren.
  • Anwendung bewährter Sicherheitsverfahren zur Verwaltung von Daten und Ressourcen.
  • Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.

Offizielle Google Cloud Unterlagen.

Inhouse-Schulung jetzt anfragen

Zielgruppe

  • Datenbankadministratoren
  • Datenanalysten
  • Cloud-Ingenieure
  • IT-Architekten
  • Data Scientists
  • Entscheidungsträger

Voraussetzungen

Grundlagen von Big Data und maschinellem Lernen.

Grundlagen der BigQuery-Architektur
Einführung
BigQuery-Kerninfrastruktur
BigQuery-Speicher
BigQuery-Abfrageverarbeitung
BigQuery-Daten-Mischung
Erläutern Sie die Vorteile der säulenförmigen Speicherung.
Verstehen, wie BigQuery Daten verarbeitet.
Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.
Labore und Demos
Speicher- und Schema-Optimierungen
BigQuery-Speicher
Partitionierung und Clustering
Verschachtelte und wiederholte Felder
ARRAY- und STRUCT-Syntax
Bewährte Praktiken
Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
Partitionieren und Clustern von Daten für bessere Leistung
Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen
Labore und Demos
Dateneingabe
Data Ingestion Options
Batch-Ingestion
Streaming-Ingestion
Veraltete Streaming-API
BigQuery-Speicher-Schreib-API
Materialisierung von Abfragen
Abfrage externer Datenquellen
Datenübertragungsdienst
Aufnahme von Batch- und Streaming-Daten.
Abfrage externer Datenquellen.
Planen Sie Datenübertragungen.
Verstehen, wie man die Storage Write API verwendet.
Labore und Demos
Ändern von Daten
Verwaltung von Änderungen in Data Warehouses
Umgang mit sich langsam ändernden Abmessungen (SCD)
DML-Anweisungen
DML Best Practices und häufige Probleme
DML-Anweisungen schreiben.
Behebung häufiger DML-Leistungsprobleme und Engpässe.
Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.
Verbesserung der Leseleistung
BigQuery’s Cache
Materialisierte Ansichten
BI-Engine
Hoher Lesedurchsatz
BigQuery-Speicher-Lese-API
Erforschen Sie den Cache von BigQuery.
Erstellen Sie materialisierte Ansichten.
Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.
Labore und Demos
Optimierung und Fehlerbehebung von Abfragen
Einfache Abfrage-Ausführung
SELECTs und Aggregation
JOINs und Skewed JOINs
Filtern und Ordnen
Bewährte Praktiken für Funktionen
Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.
Labore und Demos
Arbeitslastmanagement und Preisgestaltung
BigQuery-Steckplätze
Preismodelle und Schätzungen
Slot-Reservierungen
Kostenkontrolle
Definieren Sie einen BigQuery-Slot.
Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
Ermittlung der besten Praktiken zur Kostenkontrolle.
Demos
Protokollierung und Überwachung
Cloud-Überwachung
BigQuery-Verwaltungsbereich
Cloud Audit Logs
INFORMATION_SCHEMA
Abfragepfad und häufige Fehler
Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
Erkunden Sie das BigQuery-Verwaltungsfeld.
Verwenden Sie Cloud Audit-Protokolle.
Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.
Labore und Demos
Sicherheit in BigQuery
Sichere Ressourcen mit IAM
Autorisierte Ansichten
Sichere Daten durch Klassifizierung
Verschlüsselung
Datenermittlung und -verwaltung
Erkunden Sie die Datenerkennung mit Data Catalog.
Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
Verstehen, wie BigQuery Verschlüsselung verwendet.
Labore und Demos
Modul 10 Automatisieren von Arbeitsbelastungen
Terminierungsabfragen
Skripting
Gespeicherte Prozeduren
Integration mit Big Data-Produkten
Zeitplanabfragen.
Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.
Demos
Maschinelles Lernen in BigQuery
Einführung in BigQuery ML
Wie man mit BigQuery ML Vorhersagen macht
Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
Zeitreihenmodelle mit BigQuery ML
BigQuery ML-Erklärbarkeit
Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.
Labore und Demos

Classroom Training

Bevorzugen Sie die klassische Trainingsmethode? Ein Kurs in einem unserer Training Center, mit einem kompetenten Trainer und dem direkten Austausch zwischen allen Teilnehmern? Dann buchen Sie einen der Classroom Training Termine!

Hybrid Training

Hybrid Training bedeutet, dass zusätzliche Online-Teilnehmer an einem Präsenzkurs teilnehmen können. Die Dynamik eines realen Kurses bleibt erhalten, wovon besonders auch die Online-Teilnehmer profitieren. Als Online-Teilnehmer eines Hybrid-Kurses nutzen Sie eine Collaboration-Plattform wie WebEx Training Center oder Saba Meeting. Dazu wird nur ein PC mit Browser und Internet-Anschluss benötigt, ein Headset und idealerweise eine Webcam. Im Kursraum setzen wir speziell entwickelte und angepasste hochwertige Audio- und Videotechnik ein. Sie sorgt dafür, dass die Kommunikation zwischen allen Beteiligten angenehm und störungsfrei funktioniert.

Online Training

Möchten Sie einen Kurs online besuchen? Zu diesem Kursthema bieten wir Ihnen Online-Kurstermine an. Als Teilnehmer benötigen Sie dazu einen PC mit Internet-Anschluss (mindestens 1 Mbit/s), ein Headset, falls Sie per VoIP arbeiten möchten und optional eine Kamera. Weitere Informationen und technische Empfehlungen finden Sie hier.

Inhouse-Schulung

Benötigen Sie einen maßgeschneiderten Kurs für Ihr Team? Neben unserem Standard-Angebot bieten wir Ihnen an, Kurse speziell nach Ihren Anforderungen zu gestalten. Gerne beraten wir Sie hierzu und erstellen Ihnen ein individuelles Angebot.
Inhouse-Schulung jetzt anfragen
PDF SymbolDie gesamte Beschreibung dieses Kurses mit Terminen und Preisen zum Download als PDF.

In diesem Kurs tauchen Sie tief in die Welt von BigQuery ein und erlernen Best Practices für den Entwurf, die Optimierung und die Verwaltung eines leistungsstarken Data Warehouses.

Durch eine Mischung aus Vorträgen, Demonstrationen und praktischen Übungen entdecken Sie die Architektur von BigQuery und lernen, wie Sie effiziente Speicherlösungen und Schemata für die Dateneingabe und -aktualisierung entwickeln. Darüber hinaus erhalten Sie wertvolle Einblicke in Techniken zur Verbesserung der Leseleistung, zur Optimierung von Abfragen und zur effektiven Verwaltung von Arbeitslasten. Sie nutzen Protokollierungs- und Überwachungstools, um Ihre Systeme stets im Blick zu behalten, und lernen die verschiedenen Preismodelle von BigQuery kennen, um Ihre Kosten zu optimieren.

Zusätzlich erfahren Sie, wie Sie Daten sicher schützen, Arbeitslasten automatisieren und mit BigQuery ML Machine-Learning-Modelle erstellen können. Dieser Kurs bietet alles, was Sie brauchen, um das volle Potenzial von BigQuery auszuschöpfen!

Kursinhalt

  • Grundlagen der BigQuery-Architektur
  • Speicher- und Schema-Optimierungen
  • Aufnahme von Daten
  • Ändern von Daten
  • Verbesserung der Leseleistung
  • Optimieren und Fehlerbehebung von Abfragen
  • Arbeitslastmanagement und Preisgestaltung
  • Protokollierung und Überwachung
  • Sicherheit in BigQuery
  • Automatisieren von Arbeitsbelastungen
  • Maschinelles Lernen in BigQuer

In diesem Kurs erwerben Sie die folgenden Fähigkeiten:

  • Beschreiben Sie die Grundlagen der BigQuery-Architektur.
  • Implementierung von Speicher- und Schemaentwurfsmustern zur Verbesserung der Leistung.
  • Verwenden Sie DML und planen Sie Datenübertragungen zum Einlesen von Daten.
  • Anwendung bewährter Verfahren zur Verbesserung der Leseeffizienz und Optimierung der Abfrageleistung.
  • Verwalten Sie Kapazitäten und automatisieren Sie Arbeitslasten.
  • Verstehen von Mustern und Anti-Mustern zur Optimierung von Abfragen und Verbesserung der Leseleistung.
  • Verwenden Sie Protokollierungs- und Überwachungstools, um Nutzungsmuster zu verstehen und zu optimieren.
  • Anwendung bewährter Sicherheitsverfahren zur Verwaltung von Daten und Ressourcen.
  • Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.

Offizielle Google Cloud Unterlagen.

Inhouse-Schulung jetzt anfragen

Zielgruppe

  • Datenbankadministratoren
  • Datenanalysten
  • Cloud-Ingenieure
  • IT-Architekten
  • Data Scientists
  • Entscheidungsträger

Voraussetzungen

Grundlagen von Big Data und maschinellem Lernen.

Grundlagen der BigQuery-Architektur
Einführung
BigQuery-Kerninfrastruktur
BigQuery-Speicher
BigQuery-Abfrageverarbeitung
BigQuery-Daten-Mischung
Erläutern Sie die Vorteile der säulenförmigen Speicherung.
Verstehen, wie BigQuery Daten verarbeitet.
Lernen Sie die Grundlagen des Shuffle-Service von BigQuery kennen, um die Abfrageeffizienz zu verbessern.
Labore und Demos
Speicher- und Schema-Optimierungen
BigQuery-Speicher
Partitionierung und Clustering
Verschachtelte und wiederholte Felder
ARRAY- und STRUCT-Syntax
Bewährte Praktiken
Vergleichen Sie die Leistung verschiedener Schemata (Schneeflocken, denormalisierte, verschachtelte und wiederholte Felder).
Partitionieren und Clustern von Daten für bessere Leistung
Verbesserung des Schemadesigns durch verschachtelte und wiederholte Felder.
Beschreiben Sie zusätzliche bewährte Verfahren wie den Ablauf von Tabellen und Partitionen
Labore und Demos
Dateneingabe
Data Ingestion Options
Batch-Ingestion
Streaming-Ingestion
Veraltete Streaming-API
BigQuery-Speicher-Schreib-API
Materialisierung von Abfragen
Abfrage externer Datenquellen
Datenübertragungsdienst
Aufnahme von Batch- und Streaming-Daten.
Abfrage externer Datenquellen.
Planen Sie Datenübertragungen.
Verstehen, wie man die Storage Write API verwendet.
Labore und Demos
Ändern von Daten
Verwaltung von Änderungen in Data Warehouses
Umgang mit sich langsam ändernden Abmessungen (SCD)
DML-Anweisungen
DML Best Practices und häufige Probleme
DML-Anweisungen schreiben.
Behebung häufiger DML-Leistungsprobleme und Engpässe.
Identifizieren Sie langsam wechselnde Dimensionen (SCD) in Ihren Daten und nehmen Sie Aktualisierungen vor.
Verbesserung der Leseleistung
BigQuery’s Cache
Materialisierte Ansichten
BI-Engine
Hoher Lesedurchsatz
BigQuery-Speicher-Lese-API
Erforschen Sie den Cache von BigQuery.
Erstellen Sie materialisierte Ansichten.
Arbeiten Sie mit BI Engine, um Ihre SQL-Abfragen zu beschleunigen.
Verwenden Sie die Speicher-Lese-API für den schnellen Zugriff auf den von BigQuery verwalteten Speicher.
Erläutern Sie die Vorbehalte gegen die Verwendung externer Datenquellen.
Labore und Demos
Optimierung und Fehlerbehebung von Abfragen
Einfache Abfrage-Ausführung
SELECTs und Aggregation
JOINs und Skewed JOINs
Filtern und Ordnen
Bewährte Praktiken für Funktionen
Interpretieren Sie BigQuery-Ausführungsdetails und den Abfrageplan.
Optimieren Sie die Abfrageleistung mit Hilfe der vorgeschlagenen Methoden für SQL-Anweisungen und -Klauseln.
Demonstration von Best Practices für Funktionen in geschäftlichen Anwendungsfällen.
Labore und Demos
Arbeitslastmanagement und Preisgestaltung
BigQuery-Steckplätze
Preismodelle und Schätzungen
Slot-Reservierungen
Kostenkontrolle
Definieren Sie einen BigQuery-Slot.
Erläuterung von Preismodellen und Preisschätzungen (BigQuery UI, bq dry_run, jobs API).
Verstehen Sie Slot-Reservierungen, Verpflichtungen und Zuweisungen.
Ermittlung der besten Praktiken zur Kostenkontrolle.
Demos
Protokollierung und Überwachung
Cloud-Überwachung
BigQuery-Verwaltungsbereich
Cloud Audit Logs
INFORMATION_SCHEMA
Abfragepfad und häufige Fehler
Verwenden Sie Cloud Monitoring, um BigQuery-Metriken anzuzeigen.
Erkunden Sie das BigQuery-Verwaltungsfeld.
Verwenden Sie Cloud Audit-Protokolle.
Arbeiten Sie mit INFORMATION_SCHEMA-Tabellen, um Einblicke in Ihre BigQuery-Entitäten zu erhalten.
Labore und Demos
Sicherheit in BigQuery
Sichere Ressourcen mit IAM
Autorisierte Ansichten
Sichere Daten durch Klassifizierung
Verschlüsselung
Datenermittlung und -verwaltung
Erkunden Sie die Datenerkennung mit Data Catalog.
Erörterung der Datenverwaltung mit DLP API und Datenkatalog.
Erstellen Sie IAM-Richtlinien (z. B. autorisierte Ansichten), um Ressourcen zu sichern.
Sichern Sie Daten mit Klassifizierungen (z. B. Richtlinien auf Zeilenebene).
Verstehen, wie BigQuery Verschlüsselung verwendet.
Labore und Demos
Modul 10 Automatisieren von Arbeitsbelastungen
Terminierungsabfragen
Skripting
Gespeicherte Prozeduren
Integration mit Big Data-Produkten
Zeitplanabfragen.
Verwenden Sie Skripterstellung und gespeicherte Prozeduren, um benutzerdefinierte Transformationen zu erstellen.
Beschreiben Sie, wie Sie BigQuery-Workloads mit anderen Google Cloud Big Data-Produkten integrieren können.
Demos
Maschinelles Lernen in BigQuery
Einführung in BigQuery ML
Wie man mit BigQuery ML Vorhersagen macht
Wie man ein Empfehlungssystem mit BigQuery ML erstellt und einsetzt
Erstellen und Bereitstellen einer Lösung für die Nachfrageprognose mit BigQuery ML
Zeitreihenmodelle mit BigQuery ML
BigQuery ML-Erklärbarkeit
Beschreiben Sie einige der verschiedenen Anwendungen von BigQuery ML.
Erstellen und Bereitstellen verschiedener Kategorien von Modellen für maschinelles Lernen mit BigQuery ML.
Verwenden Sie AutoML-Tabellen zur Lösung hochwertiger Geschäftsprobleme.
Labore und Demos

Classroom Training

Bevorzugen Sie die klassische Trainingsmethode? Ein Kurs in einem unserer Training Center, mit einem kompetenten Trainer und dem direkten Austausch zwischen allen Teilnehmern? Dann buchen Sie einen der Classroom Training Termine!

Hybrid Training

Hybrid Training bedeutet, dass zusätzliche Online-Teilnehmer an einem Präsenzkurs teilnehmen können. Die Dynamik eines realen Kurses bleibt erhalten, wovon besonders auch die Online-Teilnehmer profitieren. Als Online-Teilnehmer eines Hybrid-Kurses nutzen Sie eine Collaboration-Plattform wie WebEx Training Center oder Saba Meeting. Dazu wird nur ein PC mit Browser und Internet-Anschluss benötigt, ein Headset und idealerweise eine Webcam. Im Kursraum setzen wir speziell entwickelte und angepasste hochwertige Audio- und Videotechnik ein. Sie sorgt dafür, dass die Kommunikation zwischen allen Beteiligten angenehm und störungsfrei funktioniert.

Online Training

Möchten Sie einen Kurs online besuchen? Zu diesem Kursthema bieten wir Ihnen Online-Kurstermine an. Als Teilnehmer benötigen Sie dazu einen PC mit Internet-Anschluss (mindestens 1 Mbit/s), ein Headset, falls Sie per VoIP arbeiten möchten und optional eine Kamera. Weitere Informationen und technische Empfehlungen finden Sie hier.

Inhouse-Schulung

Benötigen Sie einen maßgeschneiderten Kurs für Ihr Team? Neben unserem Standard-Angebot bieten wir Ihnen an, Kurse speziell nach Ihren Anforderungen zu gestalten. Gerne beraten wir Sie hierzu und erstellen Ihnen ein individuelles Angebot.
Inhouse-Schulung jetzt anfragen

PDF SymbolDie gesamte Beschreibung dieses Kurses mit Terminen und Preisen zum Download als PDF.