-
In this course, you will learn about the different challenges that arise when producing generative AI-powered applications compared to traditional ML. You will learn how to manage experimentation and tuning of your LLMs, then you will discuss how to deploy, test, and maintain your LLM-powered applications. Finally, you will discuss best practices for logging and monitoring your LLM-powered applications in production.
-
Course Contents
-
- Introduction to generative AI in manufacturing
- Managing experiments
- Generative AI in manufacturing
- Logging and monitoring for productive LLM systems
-
Target Group
-
Developers and machine learning engineers who want to use AI-based applications
-
Knowledge Prerequisites
-
Attendance of the course Introduction to Developer Efficiency on Google Cloud or equivalent knowledge
-
Course Objective
-
- Describe the challenges involved in producing applications with generative AI.
- Manage the testing and evaluation of LLM-based applications.
- Production of LLM-based applications.
- Implementation of logging and monitoring for LLM-based applications.
| Einführung in die generative KI in der Produktion |
| Themen: |
| AI-System-Demo: Kaffee auf Rädern |
| Traditionelle MLOps vs. GenAIOps |
| Generative KI-Operationen |
| Bestandteile eines LLM-Systems |
| Zielsetzungen: |
| Verstehen generativer KI-Operationen |
| Vergleich zwischen traditionellen MLOps und GenAIOps |
| Analysieren Sie die Komponenten eines LLM-Systems |
| Verwaltung von Experimenten |
| Themen: |
| Datensätze und Prompt Engineering |
| RAG- und ReACT-Architektur |
| LLM-Modellevaluation (Metriken und Rahmen) |
| Experimente zur Verfolgung |
| Zielsetzungen: |
| Experimentieren Sie mit Datensätzen und Prompt-Engineering. |
| Nutzung der RAG- und ReACT-Architektur. |
| Bewertung von LLM-Modellen. |
| Experimente verfolgen. |
| Aktivitäten: |
| Labor: Unit Testing generativer KI-Anwendungen |
| Optionales Labor: Generative AI mit Vertex AI: Prompt Design |
| Generative KI in der Produktion |
| Themen: |
| Bereitstellung, Paketierung und Versionierung (GenAIOps) |
| Testen von LLM-Systemen (Einheit und Integration) |
| Wartung und Aktualisierung (Betrieb) |
| Prompte Sicherheit und Migration |
| Zielsetzungen: |
| Modelle bereitstellen, verpacken und versionieren |
| LLM-Systeme testen |
| Pflege und Aktualisierung von LLM-Modellen |
| Prompte Sicherheit und Migration bewältigen |
| Aktivitäten: |
| Lab: Vertex AI Pipelines: Qwik Start |
| Labor: Absicherung mit Vertex AI Gemini API |
| Protokollierung und Überwachung für produktive LLM-Systeme |
| Themen: |
| Cloud-Protokollierung |
| Zeitnahe Versionierung, Bewertung und Verallgemeinerung |
| Überwachung auf Bewertungsverzerrung |
| Kontinuierliche Validierung |
| Zielsetzungen: |
| Cloud Logging nutzen |
| Version, Bewertung und Verallgemeinerung von Aufforderungen |
| Überwachen Sie die Schieflage bei der Bewertung |
| Kontinuierliche Validierung nutzen |
| Aktivitäten: |
| Labor: Vertex AI: Playbook für Gemini-Evaluierungen |
| Optionales Labor: Überwachtes Fine Tuning mit Gemini für Fragen und Antworten |
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.-
In this course, you will learn about the different challenges that arise when producing generative AI-powered applications compared to traditional ML. You will learn how to manage experimentation and tuning of your LLMs, then you will discuss how to deploy, test, and maintain your LLM-powered applications. Finally, you will discuss best practices for logging and monitoring your LLM-powered applications in production.
-
Course Contents
-
- Introduction to generative AI in manufacturing
- Managing experiments
- Generative AI in manufacturing
- Logging and monitoring for productive LLM systems
-
Target Group
-
Developers and machine learning engineers who want to use AI-based applications
-
Knowledge Prerequisites
-
Attendance of the course Introduction to Developer Efficiency on Google Cloud or equivalent knowledge
-
Course Objective
-
- Describe the challenges involved in producing applications with generative AI.
- Manage the testing and evaluation of LLM-based applications.
- Production of LLM-based applications.
- Implementation of logging and monitoring for LLM-based applications.
| Einführung in die generative KI in der Produktion |
| Themen: |
| AI-System-Demo: Kaffee auf Rädern |
| Traditionelle MLOps vs. GenAIOps |
| Generative KI-Operationen |
| Bestandteile eines LLM-Systems |
| Zielsetzungen: |
| Verstehen generativer KI-Operationen |
| Vergleich zwischen traditionellen MLOps und GenAIOps |
| Analysieren Sie die Komponenten eines LLM-Systems |
| Verwaltung von Experimenten |
| Themen: |
| Datensätze und Prompt Engineering |
| RAG- und ReACT-Architektur |
| LLM-Modellevaluation (Metriken und Rahmen) |
| Experimente zur Verfolgung |
| Zielsetzungen: |
| Experimentieren Sie mit Datensätzen und Prompt-Engineering. |
| Nutzung der RAG- und ReACT-Architektur. |
| Bewertung von LLM-Modellen. |
| Experimente verfolgen. |
| Aktivitäten: |
| Labor: Unit Testing generativer KI-Anwendungen |
| Optionales Labor: Generative AI mit Vertex AI: Prompt Design |
| Generative KI in der Produktion |
| Themen: |
| Bereitstellung, Paketierung und Versionierung (GenAIOps) |
| Testen von LLM-Systemen (Einheit und Integration) |
| Wartung und Aktualisierung (Betrieb) |
| Prompte Sicherheit und Migration |
| Zielsetzungen: |
| Modelle bereitstellen, verpacken und versionieren |
| LLM-Systeme testen |
| Pflege und Aktualisierung von LLM-Modellen |
| Prompte Sicherheit und Migration bewältigen |
| Aktivitäten: |
| Lab: Vertex AI Pipelines: Qwik Start |
| Labor: Absicherung mit Vertex AI Gemini API |
| Protokollierung und Überwachung für produktive LLM-Systeme |
| Themen: |
| Cloud-Protokollierung |
| Zeitnahe Versionierung, Bewertung und Verallgemeinerung |
| Überwachung auf Bewertungsverzerrung |
| Kontinuierliche Validierung |
| Zielsetzungen: |
| Cloud Logging nutzen |
| Version, Bewertung und Verallgemeinerung von Aufforderungen |
| Überwachen Sie die Schieflage bei der Bewertung |
| Kontinuierliche Validierung nutzen |
| Aktivitäten: |
| Labor: Vertex AI: Playbook für Gemini-Evaluierungen |
| Optionales Labor: Überwachtes Fine Tuning mit Gemini für Fragen und Antworten |
-
Classroom training
- Do you prefer the classic training method? A course in one of our Training Centers, with a competent trainer and the direct exchange between all course participants? Then you should book one of our classroom training dates!
-
Online training
- You wish to attend a course in online mode? We offer you online course dates for this course topic. To attend these seminars, you need to have a PC with Internet access (minimum data rate 1Mbps), a headset when working via VoIP and optionally a camera. For further information and technical recommendations, please refer to.
-
Tailor-made courses
-
You need a special course for your team? In addition to our standard offer, we will also support you in creating your customized courses, which precisely meet your individual demands. We will be glad to consult you and create an individual offer for you.
You can find the complete description of this course with dates and prices ready for download at as PDF.