Kursüberblick
Log-Nachrichten entstehen auf jedem System und in jeder Anwendung. Sie enthalten wichtige Ereignisse wie Fehler, Warnungen oder Geschäftsvorfälle. Log-Nachrichten sind ein essenzielles Werkzeug zur Fehlersuche, zur Gewährleistung der Sicherheit und zur Dokumentation fachlicher Vorgänge. In verteilten Systemen gibt es zahlreiche Log-Quellen, die sich durch Skalierung und Updates laufend ändern. Für die meisten Fragestellungen müssen Logs aus mehreren Quellen, beispielsweise mehreren Microservices, gemeinsam ausgewertet werden. Loki verspricht, ein “Prometheus für Logs” zu sein, dass Log-Nachrichten einsammelt und quellenübergreifend zugänglich macht. In diesem Kurs wird das Management und die Analyse von Log-Nachrichten mit Loki durch zahlreiche Praxisbeispiele erklärt und geübt. Dabei wird auch auf die Nutzung von Loki in Kubernetes sowie die Verbindung von Log-Meldungen in Loki mit Metriken in Prometheus eingegangen.
Zielgruppe
Das Training richtet sich an Entwickler und Administratoren sowie an Architekten und Entscheider mit hohem technischen Interesse. Die Teilnehmer müssen die Grundlagen der Linux-Systemadministration beherrschen. Sie müssen sich sicher auf der Kommandozeile bewegen, Dateien auf der Kommandozeile editieren und Systemdienste steuern können. Grundkenntnisse im Umgang mit Prometheus und Kubernetes sowie Regulären Ausdrücken werden in Teilen des Kurses vorausgesetzt.
Kursziele
Die Teilnehmer lernen, Log-Meldungen mit Loki zentral zu speichern und über mehrere Quellen hinweg auszuwerten. Ein besonderer Schwerpunkt liegt dabei auf der Erhebung der Log-Daten und der Vorverarbeitung, um eine effiziente Suche in den erhobenen Daten zu gewährleisten. Die Teilnehmer nutzen LogQL zur Analyse von Log-Meldungen und lernen die grafische Darstellung von Log-Daten im Grafana. Zudem thematisiert der Kurs die Verbindung von Log-Inhalten in Loki mit Monitoring-Metriken in Prometheus und die Erhebung von Log-Nachrichten von Anwendungen in Kubernetes.
Kursinhalt
Einführung in das Log-Management mit Loki
- Prinzipien des Log-Managements
- Architektur von Loki
- Streams, Labels, Indexe und Log-Nachrichten
Log-Meldungen mit Promtail erheben
- Log-Nachrichten aus Log-Dateien
- Log-Nachrichten aus dem systemd-Journal
- Übersicht über weitere Log-Quellen (syslog, Windows Event Logs, Batch-Verarbeitung, …)
- Relabeling, insbesondere in Kubernetes
Promtail Pipelines
- Parsen von Log-Nachrichten (logfmt, JSON, Reguläre Ausdrücke)
- Ändern von Zeitstempeln, Labels und Log-Nachrichten
- Verarbeiten mehrzeiliger Nachrichten
- Filtern von Log-Nachrichten
- Unterschiedliche Behandlung verschiedener Nachrichten
Zugriff auf Log-Daten
- logcli
- Grafana
LogQL
- Stream-Selektion, Filtern von Log-Nachrichten und Volltextsuche
- Extrahieren und Vergleichen von Informationen aus Log-Nachrichten
- Ändern von Labels und Log-Nachrichten
- Metriken basierend auf Log-Meldungen
- Funktionen und Operatoren für Metric-Queries
Integration von Loki und Prometheus
- Labels in Loki und Prometheus
- Gemeinsame Darstellung von Logs und Metriken in Grafana
- Bereitstellung von Prometheus-Metriken in Promtail
- Recording und Alerting Rules und Alarmierung mit AlertManager
Logging in Kubernetes
- Promtail für Container-Logs
- Promtail als Sidecar-Container
Übersicht über weiterführende Aspekte
- Konfiguration von Storage und Retention
- Clustering und Hochverfügbarkeit
- Multi Tenancy, Authentifikation und Limits
Deutsch
Dieser Kurs wird in Zusammenarbeit mit der xamira networks GmbH durchgeführt.